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内 容 简 介 


本 书 对 计算 智能 领域 的 主要 算法 进行 介绍 ,重点 讨论 各 种 算法 的 思想 来 源流 程 结 构 发 展 改 进 、 参 
数 设置 和 相关 应 用 ,内 容 包括 绪 论 以 及 神经 网 络 .模糊 逻辑 .遗传 算法 、 蚁 群 优 化 算法 、 粒 子 群 优化 算法 、 
免疫 算法 .分布 估计 算法 、Memetic 算法 、 模 拟 退 火 算 法 和 禁忌 搜索 算法 等 计算 智能 领域 的 典型 算法 。 
本 书 通俗 易 懂 ,图文并茂 ,深入 浅 出 ,没有 其 他 算法 书 中 大 量 公 式 、 定 理 ,. 证 明 等 难 懂 的 内 容 , 而 是 通过 大 
量 的 图 表示 例 对 各 个 算法 进行 说 明和 介绍 。 本 书 不 但 提供 了 算法 实现 的 流程 图 和 伪 代 码 , 而 且 通 过 具 
体 的 应 用 举例 对 算法 的 使 用 方法 和 使 用 过 程 进行 说 明 , 同 时 提供 了 大 量 经 典 而 重要 的 参考 资料 ,为 读者 
进一步 深入 学 习 和 理解 算法 提供 方便 。 

本 书 适 合作 为 相关 专业 本 科 生 和 研究 生 的 选修 课 教材 ,特别 适合 作为 人 门 教材 以 满足 算法 初学 者 
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参考 书 和 工具 书 。 
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普通 高 校本 科 计 算 机 专业 


计算 机 问世 以 来 , 人 工 智能 (Artificial Intelligence, Al) 一 直 是 计算 机 
科学 家 追求 的 目标 之 一 。 作为 人 工 智能 的 一 个 重要 领域 , 计算 智 
能 (Computational Intelligence, CI) 因 其 智能 性 、 并 行 性 和 健壮 性 , 具有 很 好 
的 自 适 应 能 力 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 研究 者 的 广泛 关注 , A 
前 已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 , 并 且 已 经 被 
广泛 应 用 于 各 种 领域 , 在 科学 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 
计算 智能 是 受到 大 自然 智慧 和 人 类 智慧 的 启发 而 设计 出 的 一 类 算法 
的 统称 。 随 着 技术 的 进步 , 在 科学 研究 和 工程 实践 中 遇 到 的 问题 变 得 越 
来 越 复杂 , 采用 传统 的 计算 方法 来 解决 这 些 问题 面临 着 计算 复杂 度 高 、 计 
算 时 间 长 等 问题 , 特别 是 对 于 一 些 NP (Non- deterministic Polynomial ) 难 问 
题 , 传统 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 精确 的 解 。 因此 , 为 了 在 
求解 时 间 和 求解 精度 上 取得 平衡 , 计算 机 科学 家 提出 了 很 多 具有 启发 式 特 
征 的 计算 智能 算法 。 这 些 算法 或 模仿 生物 界 的 进化 过 程 , 或 模仿 生物 的 
生理 构造 和 身体 机 能 , 或 模仿 动物 的 群体 行为 , 或 模仿 人 类 的 思维 、 语 言 
和 记忆 过 程 的 特性 , 或 模仿 自然 界 的 物理 现象 , 希望 通过 模拟 大 自然 和 人 
类 的 智慧 实现 对 问题 的 优化 求解 , 在 可 接受 的 时 间 内 求解 出 可 以 接受 的 
解 。 这 些 算 法 共同 组 成 了 计算 智能 优化 算法 。 
目前 , 计算 智能 算法 在 国内 外 得 到 广泛 的 关注 , 已 经 成 为 人 工 智 能 以 
及 计算 机 科学 的 重要 研究 方向 。 计算 智能 还 处 于 不 断 发 展 和 完善 的 过 
程 , 目前 还 没有 牢固 的 数学 基础 , 国内 外 众多 研究 者 也 是 在 不 断 的 探索 中 
前 进 。 计算 智能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 断 完 善 。 
计算 智能 的 研究 、 发 展 与 应 用 , 无论 是 研究 队伍 的 规模 、 发 表 的 论文 数 
量 , 还 是 网 上 的 信息 资源 , 发 展 速 度 都 很 快 , 已 经 得 到 了 国际 学 术 界 的 广 
ZAT, 并 且 在 优化 计算 、 模 式 识别 、 图 像 处 理 、 自 动 控 制 、 经 济 管理 、 机 
械 工 程 、 电 气 工程 、 通 信和 网 络 和 生物 医学 等 多 个 领域 取得 了 成 功 的 应 用 ， 
应 用 领域 涉及 国防 、 科 技 、 经 济 、 工 业 和 农业 等 各 个 方面 。 相 关 的 国际 会 
议和 学 术 期 刊 为 计算 智能 的 研究 提供 了 良好 的 学 术 环 境 和 研究 氛围 。 1994 年 , IEEE 神经 
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网 络 委 员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE 进化 计算 委员 会 , 此 会 
议 每 2 年 与 EE 神经 网 络 国际 会 议 、IEEE 模糊 系统 国际 会 议 在 同一 地 点 先后 连续 举行 ， 
BRA IEEE 计算 智能 国际 会 议 。 认识 、 了 解 和 学 习 计算 智能 算法 已 经 成 为 广大 理工 科大 
学 生 和 研究 生 的 迫切 需要 ; 掌握 计算 智能 相关 算法 的 基本 知识 , 熟练 地 运用 这 些 算 法 去 
解决 实际 应 用 中 遇 到 的 问题 , 也 已 经 成 为 广大 科学 工作 者 和 工程 技术 人 员 的 必 备 技能 。 

本 书 介 绍 典型 的 计算 智能 方法 , 重点 讨论 各 种 算法 的 思想 来 产 、 流 程 结 构 、 发 展 改 
进 、 参 数 设 置 和 相关 应 用 , 内 容 共 分 10 章 。 第 1 章 是 绪论 , 主要 是 对 计算 智能 一 些 背 景 
知识 及 其 分 类 与 理论 、 研 究 与 发 展 、 特 征 与 应 用 等 进行 概要 介绍 ; 第 2 章 介绍 神经 网 络 

(Neural Network, NN) ; 第 3 章 介绍 模糊 逻辑 (Fuzzy Logic, FL); 第 4 章 介 绍 遗 传 算法 (Genetic 
Algorithm, GA); 第 5 章 介绍 蚁 群 优 化 算法 (Ant Colony Optimization, ACO); 第 6 章 介 绍 粒子 群 
优化 算法 (Particle Swarm Optimization, PSO); 第 7 章 介绍 免疫 算法 (Immune Algorithm, IA); 第 
8 章 介 绍 分 布 估计 算法 (Estimation of Distribution Algorithm, EDA); 第 9 章 介绍 Memetic 算法 

(Memetic Algorithm, MA) ; 第 10 章 介绍 模拟 退火 (Simulated Annealing, SA) 以 及 禁忌 搜索 (Ta- 
bu Search, TS) 算法 。 

计算 智能 算法 本 身 是 对 自然 界 智 慧 和 人 类 智慧 的 模仿 , 其 思想 来 源 和 基本 原理 本 来 
Phe SRR, 因此 本 书 在 对 各 种 算法 进行 介绍 的 时 候 , 力求 做 到 通俗 易 懂 ， 
AMHR, RARE. 本 书 的 每 一 章 都 以 生动 的 图 示 开 头 , 尝试 用 最 直观 、 最 通俗 的 形 
式 去 展示 各 种 算法 的 思想 原理 和 基本 特征 , 有 助 于 读者 快速 、 形 象 、 深 刻 地 对 算法 进行 
认识 和 把 握 。 在 叙述 的 过 程 中 , 本 书 没 有 其 他 算法 书 中 大 量 公 式 、 定 理 、 证 明 等 难 懂 的 
AA, 而 是 通过 大 量 的 图 表示 例 对 各 个 算法 的 思想 来 源 、 流程 结构 、 发 展 改 进 、 参 数 设 
置 和 相关 应 用 等 方面 进行 说 明和 介绍 , 不 但 提供 了 算法 实现 的 流程 图 和 伪 代 码 , 而 且 通 
过 具体 的 应 用 举例 对 算法 的 使 用 方法 和 使 用 过 程 进行 说 明 , 同时 提供 了 大 量 经 典 而 重要 
的 参考 资料 , 为 读者 进一步 深入 学 习 和 理解 算法 提供 方便 。 本 书 的 部 分 插图 来 源 于 网 
络 的 自由 资源 和 Microsoft Office 软件 提供 的 剪贴 板 画 , 我 们 对 此 表示 感谢 。 

本 书 编写 的 分 工 如 下 : 中 山大 学 的 张 军 教授 负责 全 书 的 编写 与 统 稿 工作 , SRS 
与 编写 了 第 1.2.6 103, 陈 需 参与 编写 了 第 3 章 , 许 瑞 填 参与 编写 了 第 4 章 , RARE 
与 编写 了 第 5 章 , 官 兆 参与 编号 了 第 7 章 , 钟 竞 辉 参与 编写 了 第 8 章 , 陈 伟 能 参与 编写 了 
第 9 章 。 

由 于 编者 水 平 有 限 , 书 中 难免 存在 错误 或 疏漏 之 处 , 希望 广大 读者 批评 指正 。 
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普通 高 校本 科 计 算 机 专业 


在 很 多 情况 下 ， 这 些 
都 是 非常 难 解 的 问题 。 


在 生产 实践 、 科 学 研究 、 经 济 官 理 、 
日 剃 生 活 中 ， 我 们 经 常会 遇 到 形形色色 
的 最 优化 问题 。 
例如 要 在 最 短 的 时 间 内 完成 最 多 
的 工作 量 ; 要 用 更 少 的 资源 完成 更 多 
的 任务 ; 要 合理 安排 每 一 项 工作 使 得 
效益 最 大 
面 对 这 种 组 合 爆炸 的 最 优化 问题 ， 
传统 方法 的 求解 速度 太 慢 ,怎么 办 ? 
在 这 种 情况 下 ,我 们 可 以 尝试 使 
用 计算 智能 优化 方法 ,对 这 些 难 解 问 
” 题 进行 优化 求解 。 以 求 在 可 以 接受 的 
时 间 内 得 到 令 人 满意 的 求解 结果。 


计算 智能 (Computational Intelligence, CD 方法 主要 包括 : 
。 佣 经 网 络 (Neural Network, NN); 
-e HERZ $H (Fuzzy Logic, FL); 
eE FLY (Genetic Algorithm, GA); 
以 群 优化 算法 (Ant Colony Optimization , ACO): 
eh REMY BE (Particle Swarm Optimization , PSO); 
e fat Ea (Immune Algorithm, TA); 
。 分布 估 计算 法 (Estimation of Distribution Algorithm, EDA); 
e Memetic 算法 (Memetic Algorithm, MA); 
模拟 退火 (Simulated Annealing, SA); 
o #£= HZ (Tabu Search, TS). 
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随 着 技术 的 进步 ,在 工程 实践 中 遇 到 的 问题 变 得 越 来 越 复 杂 , 采 用 传统 的 计算 方法 来 
解决 这 些 问 题 面临 着 计算 复杂 度 高 .计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP Non- 
deterministic Polynomial) 难 问题 ,传统 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 精确 的 
解 。 因 此 ,为 了 在 求解 时 间 和 求解 精度 上 取得 平衡 ,计算 机 科学 家 们 提出 了 很 多 具有 局 发 
式 特征 的 计算 智能 方法 。 这 些 算 法 或 模仿 生物 界 的 进化 过 程 , 或 模仿 生物 的 生理 构造 和 
身体 机 能 ,或 模仿 动物 的 群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 目 
然 界 的 物理 现象 , 硕 望 通过 模拟 大 上 自然 和 人 类 的 智慧 实现 对 问题 的 优化 求解 ,在 可 接受 的 
时 间 内 求解 出 可 以 接受 的 解 。 这些 算 法 共同 组 成 了 计算 智能 优化 算法 。 计 算 智 能 因 其 乱 
能 性 、 并 行 性 和 健壮 性 ,具有 很 好 的 自 适应 性 和 很 强 的 全 局 搜索 能 力 , 得 到 了 众多 人 研究 者 
的 广泛 关注 ,已 经 在 算法 理论 和 算法 性 能 方面 取得 了 很 多 突破 性 的 进展 ,而 且 已 经 被 广泛 
应 用 于 各 种 领域 ,在 科学 人 研究 和 生产 实践 中 发 挥 着 重要 的 作用 。 

本 草 是 绪论 ,目的 是 给 读者 展现 计算 智能 算法 的 整体 面貌 。 本 划 将 从 计算 智能 算法 
的 分 类 与 理论 、 人 研究 与 发 展 ,以 及 特征 与 应 用 等 几 个 方面 进行 介绍 ,使 读者 对 整个 计算 智 
能 领域 有 一 个 初步 的 认识 和 了 解 。 计 算 智 能 算法 主要 包括 模糊 逻辑 .神经 网 络 . 遗传 算 
法 、 蚊 群 优化 算法 .粒子 群 优 化 算法 .免疫 算法 .分布 估计 算法 .Memetic 算法 模拟 退火 算 
法 和 禁忌 搜索 算法 等 ,我 们 将 在 后 面 的 章节 对 每 个 算法 进行 深入 学 习 。 本 章 的 具体 内 容 
如 下 。 

(1) 最 优化 问题 。 

(2) 计算 复杂 性 及 NP 理论 。 

(3) 智能 优化 计算 方法 : 
计算 智能 方法 ; 
计算 智能 的 分 类 与 理论 ; 
计算 智能 的 俩 究 与 发 展 ; 
计算 智能 的 特征 与 应 用 。 


1.1 最 优化 问题 


最 优化 问题 是 人 们 在 科学 研究 和 生产 实践 中 经 常 遇 到 的 问题 1。 人 类 所 从 事 的 一 
切 生 产 或 社会 活动 均 是 有 目的 的 ,其 行为 总 是 在 特定 的 价值 观念 或 审美 取 回 的 文 配 下 进 
行 的 ,因此 经 稼 面临 求解 一 个 可 行 的 甚至 是 最 优 的 方案 的 决策 问题 ,这 就 是 所 谓 的 最 优化 
jo) #2 (Optimization Problem) 。 

最 优化 问题 的 求解 模型 如 公式 (1.1) 所 示 。 

min FX); XED (1.1) 

其 中 D 是 问题 的 解 空 间 ,X 是 D 中 的 一 个 合法 解 。 一 般 可 将 X 表示 为 X= (zi ,zs，…， 
ZX,) ,表示 一 组 决策 变量 。 最 优化 问题 就 是 在 解 空间 中 寻找 一 个 合法 的 解 X( 一 组 最 佳 的 
决策 变量 ) ,使 得 X 对 应 的 函数 映射 值 /(X) 最 小 (最 大 )， 

根据 决策 变量 zx; 的 取 值 类 型 ,可 以 将 最 优化 问题 分 为 函数 优化 问题 和 组 合 优化 问题 
两 大 类 。 我 们 称 决 策 变量 均 为 连续 变量 的 最 优化 问题 为 函数 优化 问题 ; 硅 一 个 最 优化 问 
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题 的 全 部 决策 变量 均 离 散 取 值 , 则 称 为 组 合 优 化 问题 。 当 然 , 也 有 许多 应 用 问题 的 数学 模 
型 表现 为 混合 类 型 , 即 模型 的 部 分 决策 变量 为 连续 型 ,部 分 决策 变量 为 离散 型 。 此 外 , 根 
据 最 优化 问题 中 的 变量 约束、 目标 、 问题 性 质 . 时间 因素 和 图 数 关 系 等 不 同情 况 ,最 优化 
问题 还 可 以 分 成 多 种 类 型 ,如 表 1. 1 所 示 。 

表 1.1 最 优化 问题 的 分 类 


« [aan | an | wen 
fae 


1.1.1 函数 优化 问题 


国 数 优化 问题 对 应 的 决策 变量 均 为 连续 变量 ,如 图 1. 1 所 示 ,优化 问题 了 的 目标 晒 数 
值 取决 于 其 对 应 的 连续 变量 Ti s X29Tn 的 取 值 。 


很 多 科学 实验 参数 配置 和 工农 业 生产 实践 都 上 
面临 这 种 类 型 的 最 优化 问题 。 例 如 在 设计 神经 网 
络 的 过 程 中 ,需要 确定 神经 元 节点 间 的 网 络 连接 权 L 
重 , 从 而 使 得 网 络 性 能 达到 最 优 。 在 这 种 问题 中 ， 


ma Ze VG AS ZE TE AS BUE ee HE A JE BE DK Va] AY EL. 2 


Minimize f 


一 个 实数 。 各 个 决策 变量 之 间 可 能 是 独立 的 ,也 可 图 1.1 函数 优化 问题 

能 是 相互 关联 、 相 互 制约 的 ,它们 的 取 值 组 合 构 成 

了 问题 的 一 个 解 。 由 于 决策 变量 是 连续 值 , 因 此 对 每 个 变量 进行 枚 举 是 不 可 能 的 。 在 这 
种 情况 下 ,必须 借助 最 优化 方法 对 问题 进行 求解 。 


1.1.2 组合 优化 问题 


和 困 数 优化 问题 不 同 ,组合 优化 问题 的 决策 变量 是 离散 取 什 的 ,例如 整数 规划 问题 、 
0-1 规划 问题 等 。 很 多 离散 组 合 优化 问题 都 是 从 运筹 学 (Operations Research,OR) 中 演 
化 出 来 的 ,其 所 研究 的 问题 涉及 信息 技术 、 经 济 管理 .工业 工程 、 交 通 运输 .通信 网 络 等 众 
多 领域 ,在 科学 研究 和 生产 实践 中 都 起 着 重要 的 作用 。 

典型 的 组 合 优 化 问题 包括 旅行 商 问 题 (Traveling Salesman Problem, TSP) All 0-1 背 
包 问 题 (Zero/One Knapsack Problem,ZKP/0-1KP/KP)。 这 两 个 问题 分 别 是 一 种 基于 排 
序 的 组 合 优化 问题 和 一 种 基于 二 进 制 取 值 的 组 合 优化 问题 ,代表 了 组 合 优 化 问题 的 两 种 
重要 类 型 。 定 义 1.1 和 定义 1.2 分 别 给 出 了 这 两 个 问题 的 描述 以 及 最 优化 模型 。 

定义 1.1 旅行 商 问题 (Traveling Salesman Problem, TSP) 

设 有 ?7 个 城市 ,任意 两 个 城市 之 间 的 距离 如 矩阵 D = Cdi nxn ivf = 1.2.0.) AN 
其 中 d, 表示 从 城市 i ee 的 距离 。 旅 行商 问题 就 是 需要 寻找 这 样 的 一 种 周游 方案 : 
周游 路 线 从 某 个 城市 开始 ,经 过 每 个 城市 一 次 且 仅 一 次 ,最 终 回 到 出 发 城市 ,使 得 周游 的 
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路 线 总 长 度 最 短 。 数 学 化 之 后 就 是 求解 如 公式 (1. 2) 所 示 的 一 个 最 小 值 问 题 。 
f = min > duosin (1.2) 


其 中 Gi) dean Jed vee PR i PTH A aS ,而且 有 r(z 十 1) 一 r(1)。 

一 般 的 旅行 商 问题 都 是 对 称 旅行 商 问题 CSymmetrical TSP,STSP), 即 对 任意 isj A 
dj 二 di ;反之 ,如 果 存 在 某 组 ij 使 得 d; 关 4d; 而 且 i 关 j, 则 称 为 非 对 称 旅行 商 问 题 
(Asymmetrical TSP, ATSP). 

定义 1.2 0-1 背包 问题 (Zero/One Knapsack Problem,ZKP/0-1KP/KP) 

给 定 一 个 装载 量 为 c 的 背包 和 nn 个 重量 与 价值 分 别 为 ww Mo: 的 物品 (1 过; 过 2) 。 现 
要 往 背 包 放 物品 ,在 不 超过 背包 装载 量 的 条 件 下 使 装载 物品 的 总 价值 最 大 。 数 学 化 之 后 
就 是 求解 如 下 的 一 个 带 约 束 条 件 的 最 大 值 问 题 。 


az = max Suri 其 中 r; € {0,1} 
oo (1.3) 
且 满 足 限制 条 件 >》) wiz: <c 
j=] 


其 中 xz; 表示 物品 的 选择 情况 ,zi 二 1 代表 选择 第 i 个 物品 ,zx; 二 0 表示 不 选择 。 

从 定义 1.1 可 以 看 出 ,对 于 一 个 城市 的 对 称 TSP, 如 果 通 过 枚 举 的 方法 ,将 会 产生 
(n 一 1)! 个 可 能 解 ; 而 定义 1.2 则 反映 了 面 对 一 个 需要 处 理 n 个 物品 的 背包 问题 ,如 有 果 采 
用 枚 举 的 方法 确定 对 某 个 物品 的 取舍 , 那 将 会 产生 2" 个 解 。 无 论 是 (n 一 1)! 还 是 2”, 它 
们 都 可 以 看 作 是 规模 n 的 指数 函数 , 当 n 比较 大 的 时 候 , 我 们 所 面 对 的 将 是 非常 庞大 的 解 
空间 。 因 此 , 枚 举 的 方法 只 能 处 理 一 些小 规模 的 组 合 优化 问题 。 对 于 大 规模 问题 ,我 们 通 
过 借助 智能 优化 计算 方法 ,可 以 在 合理 的 时 间 内 求解 得 到 令 人 满意 的 解 ,从 而 满足 实践 的 


需要 。 
1.2 计算 复杂 性 及 NP 理论 


1.2.1 计算 复杂 性 


一 般 而 言 ,最 优化 问题 都 是 一 些 “ 难 解 ” 的 问题 。 以 前 面 给 出 的 旅行 商 问 题 和 0-1 
背包 问题 为 例 ,虽然 它们 的 定义 非常 便 单 易 履 , 但 是 需要 为 它们 寻找 到 一 个 全 局 最 优 
解 并 不 是 一 件 容 易 的 事情 。 直 观 地 看 ,旅行 商 问 题 就 是 个 城市 的 一 个 排序 问题 ,如 果 
使 用 蛮 力 法 去 枚 举 ,我 们 需要 进行 (n 一 1)! 次 的 枚 举 ;0-1 背包 问题 就 是 一 个 nn 位 二 进 
制 的 0、1 取 值 问题 ,0 表示 不 选择 ,1 表示 选择 ,因此 有 2” 种 可 能 。 可 见 , 仅 当 问 题 的 规 
模 比 较 小 (n 较 小 ) 的 时 候 , 枚 淮 的 方法 才 是 可 能 的 。 由 于 问题 的 解 空 间 随 看 规模 的 增 
大 而 呈 指 数 级 增长 ,因此 ,我 们 需要 寻找 其 他 有 效 而 且 高 效 的 算法 去 解决 这 类 问题 的 
大 规模 实例 。 

在 计算 机 科学 中 ,我 们 常用 计算 复杂 性 (Computational Complexity) 这 个 概念 来 描 
述 问 题 的 难 易 程 度 或 者 算法 的 执行 效率 。 对 于 算法 的 计算 复杂 性 ,我 们 一 般 很 容易 
进行 判断 ,例如 使 用 蛮 力 法 去 枚 举 旅行 商 问题 或 者 0-1 背包 问题 的 算法 ,就 是 具有 指数 
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计算 复杂 性 的 算法 。 但 是 ,要 对 一 个 问题 的 计算 复杂 性 进行 判断 就 不 是 一 件 简单 的 事 
情 了 。 

问题 的 计算 复杂 性 是 问题 规模 的 图 数 , 故 需要 首先 定义 问题 的 规模 。 例 如 对 于 矩阵 
运算 ,矩阵 的 阶 数 可 被 定义 为 问题 的 规模 。 如 果 求 解 一 个 问题 需要 的 运算 次 数 或 步骤 数 
是 问题 规模 的 指数 也 数 , 则 称 该 问题 有 指数 时 间 复 杂 性 ;如 果 所 需 的 运算 次 数 是 nn 的 多 
项 式 消 数 , 则 称 它 有 和 多项式 时 间 复 杂 性 。 对 于 某 个 具体 问题 ,其 复杂 性 上 界 是 已 知 求解 该 
问题 的 最 快 算法 的 复杂 性 ,而 复杂 性 下 界 只 能 通过 理论 证 明 来 建立 。 证 明 一 个 问题 的 复 
杂 性 下 界 需 要 证 明 不 存在 任何 复杂 性 低 于 下 界 的 算法 。 显 然 , 建 立 下 界 要 比 确定 上 界 困 
难得 多 。 

例如 , 蛮 力 枚 举 算 法 作为 求解 旅行 商 问 题 和 0-1 背包 问题 的 一 种 算法 ,算法 是 指数 
复杂 性 的 (阶乘 往往 比 指数 的 复杂 性 更 高 ), 因 此 ,这 两 个 问题 的 复杂 性 上 界 都 是 指数 
的 。 那 么 ,是 否 存 在 一 种 多 项 式 复 杂 性 的 算法 对 这 两 个 问题 进行 求解 呢 ? 到 目前 为 
止 ,还 没有 找到 ,但 是 还 不 能 证 明 其 不 存在 。 大 多 数 计算 机 科学 家 都 认为 ,这 些 问 题 是 
不 存在 多 项 式 复 杂 性 的 求解 算法 的 。 对 于 这 些 问 题 ,习惯 称 为 NP 难 (Non-deterministic 
Polynomial Hard, NPH) 问题 ,或 者 NP 完全 (Non-deterministic Polynomial Complete, 
NPC) 问 题 。 

从 发 展 趋势 来 看 ,计算 复杂 性 理论 将 深入 到 计算 机 科学 的 各 个 分 文中 去 。 计 算 机 科 
学 的 发 展 , 特 别 是 新 一 代 计 算 机 系统 和 人 工 智 能 的 全 究 ,又 会 给 计算 复杂 性 理论 提出 许多 
新 的 课题 。 计 算 复 杂 性 理论 .描述 复杂 性 理论 信息论. 数理 逻辑 等 学 科 将 有 可 能 更 紧密 
地 结合 ,得 到 有 关 信 息 加 工 或 信息 活动 的 一 些 深刻 结论 。 


1.2.2 NP 理论 


为 了 更 好 地 研究 问题 的 计算 复杂 性 ,计算 机 科学 家 提出 了 有 关 NP 的 理论 已 。 下 面 
对 P 类 问题 ,NP 类 问题 ,NP 难 问题 和 NP 完全 问题 进行 定义 和 解释 。 

为 了 便 化 问题 ,我 们 只 考虑 一 类 简单 的 问题 一 一 判定 性 问题 , 即 提出 一 个 问题 ,只 需 
要 回答 “是 ”或 者 “ 否 ” 的 问题 。 任 何 一 般 的 最 优化 问题 都 可 以 转化 为 一 系列 判定 性 问题 ， 
例如 求 某 个 图 中 从 A 到 B 的 最 短路 径 , 可 以 转化 成 : 从 A 到 B 是 否 有 长 度 为 1 WERE? 
从 A 到 B 是 否 有 长 度 为 2 的 路 径 ? 一 直 问 到 从 A 到 B 是 否 有 长 度 为 k 的 路 径 ? 如 果 问 
到 了 & 的 时候 回 答 了 “是 ”, 则 仿 止 发 问 ,我 们 可 以 说 从 A 到 B 的 最 短路 径 就 是 A。 

定义 1.3 P 类 问题 (Polynomial Problem) 

P 类 问题 是 指 一 类 能 够 用 确定 性 算法 在 多 项 式 时 间 内 求解 的 判定 问题 。 其 实 , 在 非 
正式 的 定义 中 ,可 以 把 那些 在 多 项 式 时 间 内 求解 的 问题 当做 P 类 问题 。 

为 了 定义 NP 类 问题 ,首先 要 引入 一 个 不 确定 性 算法 (Non-deterministic Algorithm) 
的 概念 。 

定义 1.4 不 确定 性 算法 (Non-deterministic Algorithm) 

一 个 不 确定 性 算法 包含 两 个 阶段 , 它 把 一 个 判定 问题 的 实例 7 作为 它 的 输入 ,并 进行 
如 下 的 两 步 操作 。 

(1) 非 确定 (“猜测”) 阶段 : 生产 一 个 任意 串 $ ,把 它 当 做 给 定 实例 7 的 一 个 候选 解 。 
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(2) 确定 (“验证 ”) 阶 段 : 确定 算法 将 1 和 S 作为 它 的 输入 ,如 果 S 是 7 的 一 个 解 的 
话 , 则 输出 “是 ”。 
如 果 一 个 不 确定 算法 在 验证 阶段 的 时 间 复 杂 度 是 多 项 式 级 别 的 ,我 们 称 它 为 不 确定 
性 多 项 式 算法 。 
现在 ,可 以 定义 NP 类 问题 了 ,如 定义 1.5 所 示 。 
定义 1.5 NP 类 问题 (Non-deterministic Polynomial Problem) 
NP 类 问题 是 指 一 类 可 以 用 不 确定 性 多 项 式 算 法 求解 的 判定 问题 。 例 如 旅行 商 问题 
的 判定 版 本 就 是 一 个 NP 类 问题 。 虽 然 还 不 能 找到 一 个 多 项 式 的 确定 性 算法 求解 最 小 的 
周游 路 线 ,但 是 可 以 在 一 个 多 项 式 时 间 内 对 任意 生成 的 一 条 路线? 判定 是 否 合法 (经 过 每 
个 城市 一 次 且 仅仅 一 次 )。 
比较 P 类 问题 和 NP 类 问题 的 定义 ,我 们 很 容易 得 到 一 个 结论 : P 忆 NP。 但 是 ， 
P=NP 是 否 成 立 , 至 今 还 是 计算 机 科学 中 的 一 个 未 解 之 诬 。 不 过 ,由 于 类 似 旅 行商 问题 
和 0-1 背包 问题 这 种 难度 很 高 的 组 合 判定 问题 的 存在 ,人 们 更 倾向 于 相信 了 是 不 等 于 NP 
的 ,也 就 是 说 ,NP 类 问题 除了 P 类 问题 之 外 ,还 包含 一 种 问题 ,我 们 称 之 为 NP 完全 问 
题 , 如 定义 1.6 所 示 。 
定义 1.6 NP 完全 问题 (NP Complete Problem) 
一 个 判定 问题 D 是 NP 完全 问题 的 条 件 是 : 
(1) D 属于 NP 类 ; 
(2) NP 中 的 任何 问题 都 能 够 在 多 项 式 时 间 内 转化 为 DD。 
另外 ,在 定义 1.6 中 ,一 个 满足 条 件 (2) 但 不 满足 条 件 (1) 的 问题 被 称 为 NP 难 问题 。 
也 就 是 说 ,NP 难 问题 不 一 定 是 NP 类 问题 ,例如 图 灵 停 机 问题 。 正 式 地 说 ,一 个 NP 难 问 
题 至 少 跟 NP 完全 问题 一 样 难 ,也 许 更 难 ! 例如 在 某 些 
任意 大 的 棋盘 游戏 走出 必 胜 的 下 法 ,就 是 一 个 NP 难 的 
问题 ,这 个 问题 甚至 比 那 些 NP 完全 问题 还 难 。 
图 1.2 给 出 了 以 上 这 些 问题 分 类 的 关系 示意 图 ,该 
NPER OO 图 反映 了 NP 类 问题 是 包含 P 类 问题 的 (当然 NP 是 否 等 
图 1.2 问题 分 类 的 关系 示意 图 “于 了 ,这 是 一 个 至 今 还 不 能 证 明 的 难题 )。NP 完全 问题 
一 定 属于 NP 类 问题 ,而 且 属 于 NP 难 问 题 ,但 NP 难 问 


NP 类 问题 


问题 


题 不 一 定 是 NP 类 问题 ，。 


1.3 ”智能 优化 计算 万 法 : 计算 智能 算法 


随 着 技术 的 进步 ,工程 实践 问题 变 得 越 来 越 复 杂 , 传 统 的 计算 方法 面临 着 计算 复杂 
度 高 .计算 时 间 长 等 问题 ,特别 是 对 于 一 些 NP EA NP 完全 问题 ,设计 用 于 求解 这 些 
问题 的 精确 算法 往往 由 于 其 指数 级 的 计算 复杂 性 而 令 人 无 法 接受 。 对 于 这 些 难 解 问 
题 ,传统 的 精确 算法 根本 无 法 在 可 以 忍受 的 时 间 内 求 出 解 ,因此 ,为 了 在 求解 时 间 和 求 
解 精度 上 取得 平衡 ,计算 机 科学 家 们 提出 了 形形色色 具有 启发 式 特征 的 计算 方法 ,这 
些 算法 或 模仿 生物 界 的 进化 过 程 ,或 模仿 生物 的 生理 构造 和 身体 机 能 ,或 模仿 动物 的 


群体 行为 ,或 模仿 人 类 的 思维 .语言 和 记忆 过 程 的 特性 ,或 模仿 自然 界 的 物理 现象 , 硕 
望 通过 模拟 大 目 然 和 人 类 的 智 意 实现 对 问题 的 优化 求解 ,在 可 接受 的 时 间 内 求解 得 到 
可 接受 的 解 。 这 些 算法 就 是 智能 优化 计算 方法 ,也 叫 计 算 智 能 (Computational 
Intelligence, CD # YE 。 

计算 智能 是 借助 自然 界 ( 生 物 界 ) 规 律 的 启示 ,根据 其 规律 ,设计 出 求解 问题 的 算法 。 
物理 学 .化 学 ,数学 \. 生 物 学 ,心理 学 .生理 学 .神经 科学 和 计算 机 科学 等 学 科 的 现象 与 规律 
都 可 能 成 为 计算 智能 算法 的 基础 和 思想 来 源 。 从 关系 上 说 ,计算 智能 属于 人 工 智 能 
(Artificial Intelligence, AD MJ—4 47 0°), QA 1. 3 所 示 ,不 同 的 学 者 根据 其 对 人 工 智 
能 理解 的 不 同 ,形成 了 逻辑 主义 、 行 为 主义 和 联结 主义 三 大 学 派 。 逻 辑 主义 ,又 称 为 符号 
主义 ,心理 学 派 或 计算 机 学 派 , 其 原理 主要 为 物理 符号 系统 假设 和 有 限 合 理性 原理 。 这 一 
学 派 认 为 人 工 知 能源 于 数理 逻辑 ,认为 人 工 乔 能 的 研究 方法 应 为 功能 模拟 方法 ,通过 分 析 
人 类 认 知 系统 所 具备 的 功能 和 机 能 ,然后 用 计算 机 模拟 这 些 功 能 ,实现 人 工 智 能 。 行 为 主 
义 , 又 称 控制 论 学 派 ,其 原理 为 控制 论 及 感知 一 动作 型 控制 系统 。 这 一 学 派 认 为 人 工 智能 
源 于 控制 论 ,认为 智能 取决 于 感知 和 行动 (所 以 被 称 为 行为 主义 ), 提 出 智能 行为 的 “ 感 
知 一 动作 ”模式 。 联 结 主义 ,又 称 为 仿生 学 派 或 生理 学 派 ,其 原理 主要 为 神经 网 络 及 神经 
网 络 间 的 连接 机 制 与 学 习 算 法 。 这 一 学 派 认 为 人 工 智能 源 于 仿生 学 ,特别 是 人 脑 模 型 的 
研究 ,包括 神经 网 络 " 中 和 模糊 逻辑 中 等 研究 。 此 外 ,仿生 学 方面 出 现 了 进化 计算 ”中 BE 
体 智 能 中 等 多 种 计算 智能 优化 算法 。 


i A CIRE (Artificial Intelligence, AT) i 


又 称 控制 论 学 派 (Cyberneticsism), 义 称 仿生 学 派 (Bionicsism) 或 
其 原理 为 控制 论 及 感知 一 动作 型 HEYR {Physiologism)， 其 
控制 系统 : 这 一 学 派 认 为 人 工 簿 原理 为 对 人 类 大 脑 信息 处 理 以 


又 称 符 号 主义 (Symbolicism) ~ 
心理 学 派 (Psychlogism) iT A 
机 学 派 (Computerism), 其 原理 
能 源 于 控制 论 ， 提 出 智能 行为 的 及 对 生物 进化 过 程 的 模拟 ， 包 
“感知 一 动作 ”模式 括 模糊 逻辑 、 神 经 网 络 和 进化 
计算 等 计算 智能 算法 


主要 为 物理 符号 系统 假设 和 有 
限 人 理性 原理 


图 1.3 人 工 智 能 和 计算 智能 的 关系 
本 书 将 重点 介绍 其 中 的 联结 主义 ,也 就 是 所 谓 的 智能 优化 计算 方法 ,或 者 称 为 计算 知 
能 算法 。 在 这 一 节 , 首 先 对 计算 智能 算法 的 分 类 与 理论 .研究 与 发 展 、 特 征 与 应 用 等 方面 
进行 一 个 概要 的 介绍 ,后 面 的 章节 将 分 别 对 各 种 典型 的 计算 智能 算法 进行 介绍 。 
13.1 计算 智能 的 分 类 与 理论 


计算 智能 方法 在 模拟 人 脑 的 联想 .记忆 、 发 散 思 维 . 非 线性 推理 、 模 糊 概 念 等 传统 人 工 
智能 难以 胜任 的 方面 表现 优异 ,并 受到 人 们 的 广泛 关注 。 计 算 智能 方法 也 得 到 越 来 越 多 
学 者 的 研究 和 完善 ,并 与 传统 的 人 工 智能 技术 互相 交叉 、 取 长 补 短 , 使 得 人 工 智能 研究 与 
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应 用 呈现 出 癌 上 的 发 展 趋势 。 

计算 智能 算法 主要 包括 神经 计算 、 模 糊 计 算 和 进化 计算 三 大 部 分 。 如 图 1.4 所 示 , 典 
型 的 计算 智能 算法 包括 神经 计算 中 的 人 工 神经 网 络 算法 ,模糊 计算 中 的 模糊 逻辑 ” GE 
化 计算 中 的 遗传 算法 、 蚁 群 优 化 算法 :5 、 粒子 群 优化 算法 2、 免疫 算法 2 、 分布 
SHIT SEIKO | Memetic FEIA ,以 及 单 点 搜索 技术 例如 模拟 退火 算法 .禁忌 搜索 算 
法 [221[23 等 


神经 计算 : 人 工 神 经 网 络 算法 
模糊 计算 : 模糊 逻辑 


遗传 算法 (进化 策略 ,进化 规划 ) 
蚁 群 优 化 算法 
粒子 群 优化 算法 

计算 智能 1 进化 计算 1 免疫 算法 
分 布 估计 算法 
Memetic 算法 


模拟 退火 算法 
单 点 搜索 ,禁忌 搜索 算法 


图 1.4 计算 智能 主要 分 类 一 览 图 


以 上 这 些 计算 智能 算法 都 有 一 个 共同 的 特征 就 是 通过 模仿 人 类 智能 的 茶 一 个 ( 茶 一 
些 ) 方 面 而 达到 模拟 人 类 智能 ,实现 将 生物 智 六 .和 目 然 界 的 规律 计算 机 程序 化 ,设计 最 优化 
算法 的 目的 。 然 而 计算 智能 的 这 些 不 同人 研究 领域 各 有 其 特点 ,虽然 它们 具有 模仿 人 类 和 
其 他 生物 智能 的 共同 点 ,但 是 在 具体 方法 上 存在 一 些 不 同 点 。 它 们 的 主要 特点 如 表 1.2 
TAN o 
表 1.2 计算 智能 主要 研究 方向 及 其 特点 


研究 领域 主要 特点 
人 工 神 经 网 络 模仿 人 脑 的 生理 构造 和 信息 处 理 的 过 程 ,模拟 人 类 的 智慧 
模糊 逻辑 (模糊 系统 ) 模仿 人 类 语言 和 思维 中 的 模糊 性 概念 ,模拟 人 类 的 智慧 
进化 计算 模仿 生物 进化 过 程 和 群体 智能 过 程 ,模拟 大 自然 的 智慧 


然而 在 现 阶段 ,计算 智能 的 发 展 也 面临 严峻 的 挑战 ,其 中 一 个 重要 原因 就 是 计算 智能 
目前 还 缺乏 坚实 的 数学 基础 ,还 不 能 像 物 理 、 化 学 、 天 文 等 学 科 那 样 日 如 地 运用 数学 工具 
解决 各 目的 计算 问题 。 虽 然 神 经 网 络 具有 比较 完善 的 理论 基础 ,但 是 像 进化 计算 等 重要 
的 计算 智能 技术 还 没有 完善 的 数学 基础 。 对 计算 智能 算法 的 稳定 性 和 收敛 性 的 分 析 与 证 
明 还 处 于 研究 阶段 。 通 过 数值 实验 方法 和 具体 应 用 手段 检验 计算 智能 算法 的 有 效 性 和 高 
效 性 是 研究 计算 智能 算法 的 重要 方法 。 


第 1 章 绪论 


从 目前 的 研究 来 看 ,计算 智能 的 主要 理论 基础 包括 数学 基础 .生物 学 基础 和 群体 智能 


表 1.3 计算 智能 理论 基础 一 览 表 


数学 基础 生物 学 基础 群体 智能 


。 马尔 可 夫 过 程 。 个 体 认 识 
。 统计 学 习 过 程 。 和 群体 智慧 
。 随机 过 程 。 PASE 
。 模式 定理 。 群体 协作 
。 稳定 性 : 

。 收敛 性 


1.3.2 计算 智能 的 研究 与 发 展 


经 过 了 半 个 多 世纪 的 发 展 , 目 前 ,计算 智能 在 国内 外 得 到 广泛 的 关注 ,已 经 成 为 
人 工 智能 以 及 计算 机 科学 的 重要 人 研究 方向 。 图 1.5 给 出 了 计算 智能 的 发 展 历 程 示 
意图 。 


(1) 50 年 代 ,美国 学 者 Holland, 道 传 算 法 

(2) 60 年 代 ,德国 人 Rechenberg 和 Schwefel, 进化 策略 
(3) 60 年 代 ,美国 学 者 Fogel, 进化 规划 

(4) 50 年 代 , Rosenblatt SEA , Re Ala (神经 网 络 ) 

(5) 60 年 代 , Zadeh, HENNE FETEI 


C1) wife ek . ERIR- EAE SE A aT SE 
(模式 定理 ), 算法 之 同 的 区 别 越 来 越 不 明显 

(2) 模拟 退火 算法 (1983 年 )、 禁 号 搜索 算法 (1986 年 ) 的 
提出 提供 了 新 的 优化 手段 

{3) Hopfield 抽 馈 型 神经 网 络 结构 (1982 Œ ) ~ Rumelhart 后 
回 传 播 学 习 算法 (1986 年 ) 的 提出 将 神经 网 络 的 研究 推 向 
一 个 新 的 高 请 


(1) ERE (GA) 、 进 化 策略 (ES) 和 进化 规划 (EP) 算 法 也 
在 不 断 地 发 展 和 完美 

(2) 1992 年 ， Dorigo 等 人 提出 了 蚁 群 算法 (ACO), ARS 
散 组 合 优化 问题 提供 了 重要 的 工具 

(3) 199S 年 ， 由 Eberhart 和 Kennedy 提 出 的 粒子 群 优化 算法 
(PSO) 在 连续 优化 问题 上 得 到 了 广泛 的 应 用 


图 1.5 计算 智能 发 展 历程 示意 图 


计算 鲁能 还 处 于 不 断 发 展 和 完善 的 过 程 ,目前 还 没有 牢固 的 数学 基础 ,国内 外 众多 人 研 
究 者 也 是 在 不 断 的 探索 中 前 进 。 计 算 智 能 技术 在 自身 性 能 的 提高 和 应 用 范围 的 拓展 中 不 
断 完 善 。 计 算 和 镶 能 的 研究 发 展 与 应 用 ,无 论 是 研究 队伍 的 规模 、 发 表 的 论文 数量 ,还 是 网 
上 的 信息 资源 ,发 展 速度 都 很 快 ,已 经 得 到 了 国际 学 术 界 的 广泛 认可 。 
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相关 的 国际 会 议和 学 术 期 刊 为 计算 智能 的 人 研究 提供 了 良好 的 学 术 环 境 和 人 研究 氛围 。 
1994 Æ IEEE 神经 网 络 委员 会 主持 召开 了 第 一 届 进 化 计算 国际 会 议 , 并 成 立 了 IEEE iH 
化 计算 委员 会 ,此 会 议 每 2 年 与 IEEE 神经 网 络 国际 会 议 .IEEE 模糊 系统 国际 会 议 在 同 
一 地 点 先后 连续 举行 , 合 称 为 IEEE 计算 智能 国际 会 议 。 表 1. 4 列举 了 一 些 收录 计算 智 
能 人 研究 成 果 的 国际 学 术 期 刊 和 重要 国际 会 议 。 
表 1.4 计算 智能 相关 的 学 术 期 刊 和 国际 会 议 


IEEE Transactions on Evolutionary Computation 
IEEE Transactions on Fuzzy Sets 

IEEE Transactions on Neural Networks 

IEEE Transactions on Systems, Man and Cybernetics 
IEEE Transactions on … 


学 术 期 刊 


Machine Learning 
Evolutionary Computation 
Complex Systems 
Artificial Intelligence 


IEEE World Congress on Computational Intelligence (WCCD 
IEEE Congress on Evolutionary Computation (CEC) 
IEEE International Conference on Systems, Man, and Cybernetics (SMC) 
国际 会 议 | ACM Genetic and Evolutionary Computation Conference (GECCO) 
International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 
International Conference on Simulated Evolution And Learning (SEAL) 


133 计算 智能 的 特征 与 应 用 


计算 智能 方法 采用 启发 式 的 随机 搜索 策略 ,在 问题 的 全 局 空间 中 进行 搜索 寻 优 ， 
能 在 可 接受 的 时 间 内 找到 全 局 最 优 解 或 者 可 接受 解 。 和 传统 的 优化 算法 比较 ,计算 
智能 算法 在 处 理 优化 问题 的 时 候 , 对 求解 问题 不 需要 严格 的 数学 推导 ,而 且 有 很 好 
的 全 局 搜索 能 力 , 具 有 普遍 的 适应 性 和 求解 的 健壮 性 。 计 算 智 能 算法 的 主要 特征 如 
表 1.5 所 示 。 
表 1.5 计算 智能 算法 的 基本 特征 一 览 表 


主要 特征 具体 特点 
智能 性 包括 算法 的 自 适应 性 、 自 组 织 性 ,算法 不 依赖 于 问题 本 身 的 特点 ,具有 通用 性 
并 行 性 算法 基本 上 是 以 群体 协作 的 方式 对 问题 进行 优化 求解 ,非常 适合 大 规模 并 行 处 理 
健壮 性 算法 具有 很 好 的 容错 性 ,同时 对 初始 条 件 不 敏感 ,能 在 不 同 条 件 下 寻找 最 优 解 


计算 智能 算法 已 经 在 优化 计算 .模式 识别 .图 像 处 理 .上 自动 控制 、 经 济 管理 .机 械 工 程 、 
电气 工程 ` 通 信 网 络 和 分 子 生 物 学 等 多 个 领域 取得 了 成 功 的 应 用 ,应 用 领域 涉及 国防 、 科 
技 、 经 济 、 工 业 和 农业 等 各 个 方面 ,如 图 1.6 A 


[1] 
[2] 
[3] 


[4] 
L5] 
L6] 
L7] 


[8] 
L9] 


国防 工业 农业 
雷达 天 线 设计 机 器 学 习 金融 数据 分 析 功率 电子 电路 优化 | 排灌 工程 
卫星 轨道 参数 优化 | | 数据 挖掘 LE aR ie OAS 电磁 过 小 水 利水 电工 程 
战场 模拟 图 像 处 理 企业 现金 流 害 理 输电 网 规划 农业 用 地 结构 优化 
车 事 物流 优化 模式 识别 EWU A AH SWS | 工作 流 调度 管理 温室 挥 制 
干扰 抑制 重 日 质 结 构 预 测 车 辆 路 由 水 库 防 洪 
多 目标 优化 交通 控制 农业 工程 

多 播 路 由 l 


图 1.6 计算 智能 的 应 用 


1.4 ASDA 


. 请 列举 出 生活 中 过 到 的 一 些 最 优化 问题 。 

. 在 计算 复杂 性 和 NP 理论 中 ,问题 一 般 都 分 为 哪些 类 别 ? 它们 之 间 有 什么 关系 ? 
. 计算 智能 主要 包括 哪些 研究 领域 ? 它们 有 些 什么 特点 ? 

. 请 描述 一 下 计算 智能 的 研究 与 发 展 历 程 。 

. 通过 查阅 相关 参考 文献 ,了 解 计算 智能 在 各 个 领域 的 应 用 情况 。 
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普通 高 校本 科 计 算 机 专业 


神经 网 络 


神奇 的 大 脑 无 时 不 在 
吸引 着 科学 家 的 兴趣 。 人 
类 的 大 脑 是 如 何 工作 的 呢 ? 
在 计算 机 上 能 够 仿照 大 脑 
工作 的 原理 吗 ? 


人 神经 末梢 


科学 家 们 发 现 ,大 脑 工 作 的 基本 单位 
是 神经 元 , 即 神经 细胞 。 神 经 元 主要 由 细 
胞 体 、 多 个 树 突 和 一 个 轴 突 三 部 分 组 成 ， 
形成 了 大 脑 处 理 信息 的 基本 单元 。 


人 工 神经 网 络 (Artificial Neural Network. ANN) 是 科学 家 们 在 对 生物 的 
神经 元 、 神 经 系统 等 生理 学 的 研究 取得 了 突破 性 进展 以 及 对 人 脑 的 结构 、 
组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 , 通过 借助 数学 和 物理 的 方 
法 从 信息 处 理 的 角度 对 人 脑 神经 网 络 进行 抽象 后 建立 的 简化 模型 。 
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神奇 的 大 脑 无 时 不 在 吸引 着 众多 人 研究 者 的 兴趣 ,计算 机 科学 家 一 直 都 在 寻找 一 种 能 
够 模拟 人 类 大 脑 的 算法 ,神经 网 络 作为 计算 智能 的 一 个 重要 分 文 ,是 一 种 通过 对 人 脑 和 神 
经 系统 的 模拟 并 且 用 于 模仿 人 类 生理 活动 的 计算 智能 算法 。 

本 章 将 对 神经 网 络 算法 进行 介绍 ,包括 神经 网 络 算法 的 基本 原理 ,人 研究 进展 、 典 型 结 
构 和 学 习 算 法 。 通 过 对 BP 神经 网 络 的 详细 介绍 ,给 读者 展示 了 设计 和 使 用 神经 网 络 的 
基本 流程 和 基本 要 素 。 最 后 通过 对 进化 神经 网 络 和 神经 网 络 的 典型 应 用 的 介绍 ,为 读者 
进一步 了 解 神 经 网 络 提供 了 相关 的 参考 资料 。 本 章 的 主要 内 容 如 下 : 

。 神经 网 络 人 简介 ; 
神经 网 络 的 典型 结构 ; 
神经 网 络 的 学 习 算 法 ; 

BP 神经 网 络 ; 
进化 神经 网 络 ; 
神经 网 络 的 应 用 。 


2.1 神经 网 络 简介 
21.1 神经 网 络 的 基本 原理 


神经 网 络 (Neural Network. NN) 一 般 也 称 为 人 工 神 经 网 络 (Artificial Neural 
Network,ANN), 是 科学 家 们 在 对 生物 的 神经 元 、 神 经 系统 等 生理 学 的 人 研究 取得 了 突破 
性 进展 以 及 对 人 脑 的 结构 、 组 成 和 基本 工作 单元 有 了 进一步 认识 的 基础 上 ,通过 借助 数学 
和 物理 的 方法 从 信息 处 理 的 角度 对 人 脑 神经 网 络 进行 抽象 后 建立 的 简化 模型 。 作 为 计算 
智能 算法 的 一 个 重要 分 文 ,人 工 神 经 网 络 目 前 已 成 为 一 门 十 分 热门 的 交叉 学 科 , 它 涉及 了 
生物 电子、 计算 机 、 数 学 和 物理 等 学 科 , 有 看 非常 广 沁 的 应 用 前 景 。 

生物 学 对 神经 系统 结构 的 研究 成 果 是 人 工 神 经 网 络 的 基础 。 在 生物 界 中 ,神经 系 
统 的 基本 单位 是 神经 元 。 大 多 数 神 经 元 由 一 个 细胞 体 (cell body 或 soma) 和 突 
(process) 两 部 分 组 成 。 突 分 两 类 , 即 轴 突 (axon) 和 树 突 (dendrite) ,如 图 2.1 所 示 。 轴 
突 是 个 突出 部 分 ,长 度 可 达 1m, 它 把 本 神经 元 的 输出 发 送 至 其 他 相连 接 的 神经 元 。 树 
细胞 核 


图 2.1 神经 元 结构 基本 示意 图 
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突 也 是 突出 部 分 ,但 一 般 较 短 , 且 分 枝 很 多 ,与 其 他 神经 元 的 轴 突 相连 ,以 接收 来 自 其 
他 神经 元 的 生物 信号 。 轴 突 和 树 突 共同 作用 ,实现 了 神经 元 间 的 信息 传递 。 轴 罕 的 末 
端 与 树 突进 行 信 号 传递 的 界面 称 为 突 触 (synapse) ,通过 突 触 向 其 他 神经 元 发 送信 息 。 
对 某 些 突 触 的 刺激 促使 神经 元 触发 (fire) 。 只 有 神经 元 所 有 输入 的 总 效应 达到 国 值 电 
平 , 它 才能 开始 工作 。 无 论 什 么 时 候 达 到 国 值 电 平 ,神经 元 都 会 产生 一 个 全 强度 的 输 
出 罕 脉 冲 , 从 细胞 体 经 轴 突 进入 轴 罕 分 校 。 这 时 的 神经 元 就 称 为 被 触发 。 越 来 越 多 的 
证 据 表 明 ,学 习 发 生 在 突 触 附近 ,而 且 突 触 把 经 过 一 个 神经 元 轴 突 的 脉冲 转化 为 下 一 
个 神经 元 的 兴奋 信和 号 或 抑制 信号 5 。 

人 工 神经 网 络 是 由 模拟 神经 元 组 成 的 ,可 把 ANN 看 成 是 以 处 理 单元 (Processing 
Element,PE) 为 节点 ,用 加 权 有 问 弧 ( 链 ) 相 互 连 接 而 成 的 有 问 图 。 其 中 ,处 理 单元 是 对 生 
理 神经 元 的 模拟 ,而 有 问 弧 则 是 对 轴 突 一 突 触 一 树 突 对 的 模拟 。 有 问 弧 的 权重 表示 两 处 
理 单元 间 相 互 作 用 的 强 弱 。 在 简单 的 人 工 神经 网 络 模型 中 ,用 权 和 乘法 器 模拟 突 触 特 性 ， 
用 加 法 需 模 拟 树 突 的 互 连 作 用 ,而 且 与 国 值 比较 来 模拟 细胞 体内 电化 学 作用 产生 的 开关 
寺 性 ,这 些 关 系 对 照 如 表 2.1 所 示 。 图 2.2 表示 ANN 神经 元 的 组 成 示意 图 。 图 2. 2 中 ， 
ax; 表示 来 自 其 他 神经 元 的 输入 ,ww; 表示 相应 的 网 络 连接 权重 ,各 个 输入 乘 以 相应 权重 , 然 
后 相 加 。 把 所 有 总 和 与 浆 值 电 平 0( 称 为 神经 元 的 偏 置 ) 比 较 , 当 总 和 高 于 阅 值 时 ,其 输出 
为 1; 否则 ,输出 为 0。 大 的 正 权 对 应 于 强 的 兴奋 ,小 的 负 权 对 应 于 弱 的 抑制 。 

表 2.1 生物 神经 元 和 人 工 神经 元 关系 对 照 表 


树 突 输入 层 接收 输入 的 信号 (数据 ) 
细胞 体 加 权 和 加 工 和 处 理 信号 (数据 ) 
轴 突 阅 值 函数 (激活 函数 ) 控制 输出 
Z fih 输出 层 输出 结果 
A aia i 
BRENTA eae ae fe l, 2 Wi 之 
收 畏 入 信号 控制 信号 的 输出 0 其 他 


| , 加 权 和 
模拟 神经 元 的 细胞 体 模拟 神经 元 的 突 触 
加 工 和 处 理 接收 到 的 信和 号 对 结果 进行 输出 


2.2 人 工 神 经 元 结构 及 功能 示意 图 


2.1.2 神经 网 络 的 研究 进展 
ANN 是 对 人 类 大 脑 系 统 特 性 的 一 种 描述 。 它 的 形成 与 发 展 是 生物 学 和 计算 机 科学 
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等 学 科 综 合 发 展 的 结果 。1943 年 ,McCullonch( 心 理学 家 ) 和 Pritts WAEA ZZ) ER 
文章 3 提出 了 M-P 模型 。 该 模型 总 结 了 生物 神经 元 的 基本 生理 特性 ,提出 了 神经 元 的 数 
学 描述 和 网 络 的 结构 方法 ,这 标志 着 神经 网 络 计算 时 代 的 开始 。 

尽管 神经 网 络 在 早期 取得 了 一 定 的 成 功 , 如 1957 年 Frank Rosenblatt’ 5 定义 了 一 
个 称 为 感知 器 (perceptron) 的 神经 网 络 结构 ,第 一 次 把 神经 网 络 从 纯 理 论 的 探讨 推 问 了 
工程 实现 ,并 掀起 了 神经 网 络 研 究 的 高 潮 。 而 且 该 模型 在 IBM704 机 器 上 的 实现 证 明了 
该 模型 有 能 力 通过 调整 权重 学 习 达 到 正确 分 类 的 效果 。 但 是 , Minsky 和 Papert 在 
1969 年 发 表 论 著 《Perceptrons》%5 指出 感知 器 仅 能 解决 一 阶 谓词 逻辑 ,只 能 完成 线性 划 
分 ,对 于 非 线 性 或 者 其 他 分 类 会 遇 到 很 多 困难 ,就 连 简单 的 XOR( 异 或 ) 问 题 都 解决 不 了 。 
由 此 ,神经 网 络 的 研究 进入 了 反思 期 。 

直到 20 世纪 80 年 代 , 特 别 是 1982 年 Hopfield’ 提出 的 全 连接 网 络 模型 才 使 得 人 
们 对 神经 网 络 有 了 新 的 认识 。Hopfield 将 Lyapunov 函数 引入 到 神经 网 络 中 ,并 且 从 理 
论 上 证 明了 网 络 可 以 达到 稳定 的 离散 和 连续 两 种 情况 ,为 神经 网 络 的 研究 开辟 了 一 条 魏 
新 的 道路 ,揭示 了 神经 网 络 的 研究 存在 无 限 的 发 展 空间 。 此 外 ,Rumelhart | A! 于 
1986 年 提出 的 反 向 传播 算法 (Back Propagation, BP). ,使 Hopfield 模型 和 多 层 前 馈 神经 
网 络 成 为 应 用 最 广泛 的 神经 网 络 模型 ,在 语言 识别 .模式 识别 .图 像 处 理 和 工业 控制 等 领 
域 颇 有 成 效 。 图 2. 3 给 出 了 人 工 神经 网 络 发 展 历程 的 示意 图 。 


启蒙 萌芽 时 期 — 低 渭 反思 时 期 — 复兴 发 展 时 期 一 一 一 新 的 发 展 时 期 
1940 年 至 1960 年 1960 年 至 1970 年 1980 年 至 1990 年 1990 年 中 后 期 之 后 
一 


1943 年 McCullonch 和 
Pritts 提 出 了 神经 元 的 数 
学 描述 和 网 络 的 结构 方 
法 ， 这 标志 着 神经 网 络 
计算 时 代 的 并 始 。 

1957 年 Frank Rosenblatt 


定义 一 个 称 为 感知 昔 的 
昼 经 网 络 结构 , 第 一 次 
把 神经 网 络 从 纯 理 论 的 
探讨 推 和 了 工程 实现 ， 
掀起 了 神经 网 络 研究 的 
高 潮 。 


Minsky 和 Papert 在 1969 
ER > ed Perceptrons >, 
指出 感知 器 仅 能 解决 一 阶 
谓词 逻辑 ， 只 能 完成 线性 
划分 ， 对 于 非 线 性 或 者 其 
他 分 类 会 如 到 很 多 困难 ， 


就 连 简 单 的 XOR( 异 或 ) 
问题 都 解决 不 了 。 由 此 ， 
神经 网 络 的 研究 进入 了 


1982 年 Hopfield 提出 的 
全 连接 网 络 模型 才 使 得 
大 们 对 神经 网 络 有 了 新 
的 认识 ， 开 辟 了 一 条 新 
的 研究 道路 。 

1986 年 Rumelhart 等 人 
提出 的 反 回 传播 算法 ， 
使 Hopfield 模 型 和 多 屋 
前 馈 神 经 网 络 成 为 应 用 
最 广 沁 的 神经 网 络 模型 


as 


20 世 纪 90 年 代 中 后 期 ， 
神经 网 络 研究 进入 了 一 
个 新 的 发 展 阶 段 ， 一 方 
面 已 有 理论 在 不 断 地 深 
化 和 得 到 进一步 推广 ; 
男 一 方面 ， 新 的 理论 和 


方法 也 在 不 断 出 现 。 
光学 神经 网 络 、 混 沌 神 
经 网 络 、 模 糊 神经 网 络 、 
进化 神经 网 络 等 新 模型 
陆续 出 现 。 


图 2.3 人 工 神 经 网 络 发 展 历程 的 示意 图 


随 着 神经 网 络 在 世界 范围 内 的 复兴 ,国内 外 逐步 掀起 了 研究 的 热潮 ,研究 队伍 的 规模 
在 不 断 地 扩大 ,科研 成 果 也 在 不 断 地 增加 。1987 年 ,第 一 届 国 际 神经 网 络 学 术 会 议 在 美 
国 加 利 福 尼 亚 州 召开 ,此 后 每 年 一 届 的 国际 联合 神经 网 络 大 会 (International Joint 
Conference on Neural Networks,IJCNN) 成 了 神经 网 络 人 研究 者 重要 的 学 术 交 流 平台 。 除 
此 之 外 ,还 有 很 多 重要 的 国际 会 议和 国际 期 刊 都 对 神经 网 络 方面 的 研究 成 果 非 常 重视 , 收 
录 了 很 多 高 质量 的 学 术 文 草 。 表 2.2 列举 了 一 些 和 神经 网 络 相 关 的 重要 学 术 期 刊 和 国际 


会 议 。 
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表 2.2 神经 网 络 相关 的 学 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on Neural Networks 
IEEE Transactions on Systems, Man and Cybernetics 
Journal of Artificial Neural Networks 
Journal of Neural Systems 
学 术 期 乔 Neural aia 
Neural Computation 
Networks 
Computation in Neural Systems 
Machine Learning 


International Joint Conference on Neural Networks 

IEEE International Conference on Systems, Man, and Cybernetics 
国际 会 议 . 

World Congress on Computational Intelligence 


经 过 半 个 多 世纪 的 发 展 , 人 工 神经 网 络 受到 了 广泛 的 关注 。 由 于 其 具有 民 好 的 非 线 
性 性 高 度 的 并 行 分 布 性 .和 鲁 棒 性 、 容 错 性 和 概 化 能 力 , 人 工 神经 网 络 已 经 在 模式 识别 、 目 
动 控制 \ 信 号 处 理 、 辅 助 决策 、 人 工 乔 能 等 众多 人 研究 领域 取得 了 广泛 的 成 功 。 关 于 和 学 习 、 联 
想 和 记忆 等 具有 智能 特点 过 程 的 机 理 及 其 模拟 方面 的 研究 正 受 到 越 来 越 多 的 重视 。 建 议 
有 兴趣 的 读者 通过 阅读 相关 的 书籍 “29 和 经 典 的 综述 文章 ”2 来 对 神经 网 络 的 基本 原 
理 、 发 展 历程 和 人 研究 现状 进行 更 进一步 的 学 习 和 了 解 。 


2.2 神经 网 络 的 典型 结构 


人 工 神 经 网 络 有 很 多 种 不 同 的 模型 ,通常 可 按 以 下 5 个 原则 进行 归 类 。 
。 按照 网 络 的 结构 区 分 ,有 前 癌 网 络 和 反馈 网 络 。 

。 按照 学 习 方式 区 分 ,有 有 监督 学 习 网 络 和 无 监督 学 习 网 络 。 

。 按照 网 络 性 能 区 分 ,有 连续 型 和 离散 型 网 络 ,随机 型 和 确定 型 网 络 。 
。 按照 突 触 性 质 区 分 ,有 一 阶 线性 关联 网 络 和 融 阶 非 线性 关联 网 络 。 


© 按 对 生物 神经 系统 的 层次 模拟 区 分 ,有 神经 元 层次 模型 .组 合式 模型 .网 络 层次 模 
型 ,神经 系统 层次 模型 和 智能 型 模型 。 


通 凋 ,人 们 较 多 地 考虑 神经 网 络 的 互 连 结构 。 本 节 将 按照 神经 网 络 连接 模式 ,对 神经 
网 络 的 几 种 典型 结构 分 别 进行 介绍 。 


221 单 层 感知 器 网 络 


单 层 感知 器 是 最 早 使 用 的 ,也 是 最 简单 的 神经 网 
络 结构 ,由 一 个 或 多 个 线性 国 值 单元 组 成 ,如 图 2.4 所 
示 。 但 由 于 这 种 网 络 结构 相对 简单 ,因此 能 力也 非常 
有 限 , 一 般 比较 少 用 。 

作为 最 原始 的 、 最 简单 的 神经 网 络 结构 , 单 层 感 EA A RT Tas E R 


; t ), aa ; 
Y] Yi * Yn 


X] a X; E Xn 
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知 器 是 其 他 很 多 网 络 结 构 的 基本 单元 。 图 2.4 所 示 的 神经 网 络 本 身 也 是 由 很 多 个 如 图 
2. 2 所 示 的 人 工 神经 元 组 合 而 成 的 。 在 前 面 的 图 2. 2 中 可 以 看 到 ,神经 元 所 使 用 的 激活 
函数 是 二 值 离散 神经 元 模型 ,也 就 是 如 图 2.5(a) 所 示 的 靖 值 型 激活 图 数 。 但 是 这 种 函数 
对 非 线 性 的 拟 合 程度 非常 有 限 。 因 此 除了 这 种 阅 值 型 的 激活 函数 ,人 们 还 采用 了 S 形状 
的 函数 (例如 指数 、 对 数 、 双 曲 正切 、Sigmoid 函数 等 ) 或 者 是 分 段 线 性 函数 。 图 2.5 给 出 
了 这 3 种 不 同 激活 函数 的 图 像 。 其 中 图 2. 5(c) 给 出 的 是 Sigmoid 函数 ,其 函数 表达 式 如 
公式 (2.1) 所 示 , 这 是 神经 网 络 中 使 用 最 广泛 的 激活 函数 。 


(2. 1) 


(a) 国 值 型 (b) 分 段 型 (c) SHU 
图 2.5 几 种 常见 的 激活 函数 
2.2.2 前 馈 型 网 络 


前 馈 型 网 络 的 信号 由 输入 层 到 输出 层 单 回 传输 ,每 层 的 神经 元 仅 与 其 前 一 层 的 神经 
元 相连 , 仅 接受 前 一 层 传输 来 的 信息 ,其 网 络 结构 如 图 2.6 所 示 。 


图 2.6 前 馈 型 网 络 结构 示意 图 


前 馈 型 网 络 使 用 最 为 广 沁 的 神经 网 络 模型 ,因为 它 本 和 号 的 结构 并 不 复 淋 ,学 习 和 调整 
方案 也 比较 容易 操作 ,而且 由 于 采用 了 多 层 的 网 络 结构 ,其 求解 问题 的 能 力 得 到 明显 的 加 
强 , 基 本 上 可 以 满足 使 用 要 求 。 该 种 神经 网 络 的 信号 由 输入 层 传输 到 输出 层 的 过 程 中 ,每 
一 层 的 神经 元 之 间 没 有 横 问 的 信息 传输 。 每 一 个 神经 元 受到 前 一 层 全 部 神经 元 的 控制 ， 
控制 能 力 由 连接 权重 决定 。 
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2.23 前 馈 内 层 互 联网 络 


这 种 网 络 结 构 从 外 部 看 还 是 一 个 前 馈 型 的 网 络 , 但 是 内 部 有 一 些 节 点 在 层 内 互 连 , 网 
络 结 构 如 图 2.7 所 示 。 


图 2.7 前 馈 内 层 互 联网 络 结构 示意 图 


通常 情况 下 , 同 层 之 间 神 经 元 的 互相 连接 是 日 组 织 苑 争 网 络 的 特征 之 一 。 神 经 元 之 
间 的 激励 和 压抑 是 页 争 的 手段 。 


224 反馈 型 网 络 


这 种 网 络 结构 在 输入 输出 之 间 还 建立 了 另外 一 种 关系 ,就 是 网 络 的 输出 层 存 在 一 个 
反馈 回路 到 输入 层 作 为 输入 层 的 一 个 输入 ,而 网 络 本 号 还 是 前 馈 型 的 ,网 络 结构 如 图 2. 8 
所 示 。 


一 
一 
tet 
w 

一 


Q © ® 
ae el pe Sv? =< SS, 


2.8 反馈 型 网 络 结构 示意 图 
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这 种 神经 网 络 的 输入 层 不 仅 接受 外 界 的 输入 信 y 
号 ,同时 接受 网 络 自身 的 输出 信号 。 输 出 反馈 信和 号 可 

以 是 原始 输出 信号 ,也 可 以 是 经 过 转化 的 输出 信号 ;可 

以 是 本 时 刻 的 输出 信号 ,也 可 以 是 经 过 一 定 延 迟 的 输 

出 信号 。 此 种 网 络 经 常用 于 系统 控制 ,实时 信号 处 理 

等 需要 根据 系统 当前 状态 进行 调节 的 场合 。 


225 全 互联 网 络 
2.9 全 互联 网 络 结构 示意 图 
全 互联 网 络 中 所 有 的 神经 元 之 间 都 有 相互 间 的 连 


接 , 如 Hopfiled 和 Boltgmann 网 络 都 是 这 种 类 型 ,网 络 结构 如 图 2.9 所 示 。 


2.3 ”和 俐 经 网 络 的 学 习 算 法 


设计 出 来 的 神经 网 络 要 经 历 一 个 学 习 训 练 过 程 。 目 的 是 通过 学 习 不 断 地 调整 和 修正 
网 络 的 参数 。 神 经 网 络 的 学 习 包 括 学 习 方法 和 学 习 规则 两 个 方面 的 内 容 。 
图 2. 10 给 出 了 关于 神经 网 络 学 习 方 法 和 学 习 规 则 的 分 类 图 。 


有 监督 学 习 
学 习 方 法 /无 监督 学 习 
再 励 学 习 
Hebb 学 习 规 则 
Delta(6) 学 习 规 则 
梯度 下 降 学 习 规 则 
学 习 规 则 4Kohonen 学 习 规 则 
后 向 传播 学 习 规 则 
概率 式 学 习 规 则 
竞争 式 学 习 规 则 


图 2.10 神经 网 络 学 习 方法 和 学 习 规 则 的 分 类 图 


神经 网 络 学 习 算 法 


23.1 学 习 方 法 


目前 神经 网 络 的 学 习 方法 有 多 种 ,按照 有 无 监督 来 分 类 ,可 以 分 为 有 监督 学 习 
(Supervised Learning) 或 称 有 指导 学 习 、 无 监督 学 习 (Unsupervised Learning) 或 称 无 指 
导 学 习 以 及 再 励 学 习 (Reinforcement Learning) JLA" 。 

在 有 监督 学 习 方式 中 ,网 络 的 输出 和 期 望 的 输出 ( 即 监督 信号 ?进行 比较 ,然后 根据 两 
者 之 间 的 差异 调整 网 络 的 权重 ,最 终 使 差异 变 小 。 监 督 即 是 训练 数据 本 和 号 ,不 但 包括 输入 
数据 ,还 包括 在 一 定 输入 条 件 下 的 输出 。 网 络 根据 训练 数据 的 输入 和 输出 来 调节 本 刁 的 
权重 ,使 网 络 的 输出 符合 实际 的 输出 。 在 这 种 学 习 方式 中 ,网 络 将 应 有 的 输出 与 实际 输出 
数据 进行 比较 。 网 络 经 过 一 些 训练 数据 组 的 计算 后 ,最 初 随 机 设置 的 权重 经 过 网 络 的 调 
整 ,使 得 输出 更 接近 实际 的 输出 结果 ,所 以 学 习 过 程 的 目的 在 于 减 小 网 络 应 有 的 输出 与 实 


际 输出 之 间 的 误差 。 这 是 徘 不 断 调整 权重 来 实现 的 。 

对 于 在 指导 下 学 习 的 网 络 , 网 络 在 可 以 实际 应 用 之 前 必须 进行 训练 。 训 练 的 过 程 是 
把 一 组 输入 数据 与 相应 的 输出 数据 输 进 网 络 。 网 络 根据 这 些 数 据 来 调整 权重 。 这 些 数 据 
组 就 称 为 训练 数据 组 。 在 训练 过 程 中 ,每 输入 一 组 数据 ,同时 也 告诉 网 络 的 输出 应 该 是 什 
么 。 网 络 经 过 训练 后 , 奋 认 为 网 络 的 输出 与 应 有 的 输出 间 的 误差 达到 了 人 允许 范围 ,权重 就 
不 再 改动 了 。 这 时 的 网 络 可 用 新 的 数据 去 检验 。 

在 无 监督 学 习 方式 中 ,输入 模式 进入 网 络 后 ,网 络 按 照 一 预先 设 定 的 规则 (如 耽 争 规 
则 ) 目 动 调整 权重 ,使 网 络 最 终 具有 模式 分 类 等 功能 。 没 有 指导 的 学 习 过 程 指 训练 数据 只 
有 输入 而 没有 输出 ,网 络 必须 根据 一 定 的 判断 标准 目 行 调整 权重 。 在 这 种 学 习 方 式 下 ,网 
络 不 徘 外 部 的 影响 来 调整 权重 。 也 就 是 说 ,在 网 络 训 练 过 程 中 ,只 提供 输入 数据 而 无 相应 
的 输出 数据 。 网 络 检查 输入 数据 的 规律 或 趋 加 ,根据 网 络 本 身 的 功能 进行 调整 ,并 不 需要 
告诉 网 络 这 种 调整 是 好 还 是 坏 。 这 种 没有 指导 进行 学 习 的 算法 ,强调 每 一 层 处 理 单 元 组 
间 的 协作 。 如 采 输 入 信息 使 处 理 单 元 组 的 任何 单元 激活 , 则 整个 处 理 单元 组 的 活性 就 增 
强 。 然 后 处 理 单 元 组 将 信息 传送 给 下 一 层 单 元 。 

再 励 学 习 是 介 于 上 述 两 者 之 间 的 一 种 学 习 方法 。 


2.3.2 学 习 规 则 
神经 网 络 学 习 算 法 的 另 一 个 重点 是 学 习 规 则 。 使 用 比较 普遍 的 学 习 规 则 有 以 下 


TIa 

1. Hebb 学 习 规则 

这 个 著名 的 规则 是 由 Donald Hebb 在 1949 年 提出 的 58 。 其 基本 规则 可 以 简单 归纳 
为 : 如 果 处 理 单元 从 另 一 个 处 理 单元 接收 到 一 个 输入 ,并 且 如 果 两 个 单元 都 处 于 高 度 活 
动 状态 ,这 时 两 单元 间 的 连接 权重 就 要 被 加 强 。 

Hebb 学 习 规 则 是 一 种 联想 式 学 习 方 法 。 联 想 是 人 脑 形象 思维 过 程 的 一 种 表现 形 
式 。 例 如 ,在 空间 和 时 间 上 相互 接近 的 事物 部 容易 在 人 脑 中 引起 联想 。 生 物 学 家 Donald 
Hebb 基于 对 生物 学 和 心理 学 的 研究 ,提出 了 学 习 行 为 的 突 触 联 系 和 神经 群 理 论 。 认 为 
突 触 前 与 突 触 后 二 者 同时 兴奋 , 即 两 个 神经 元 同时 处 于 激发 状态 时 ,它们 之 间 的 连接 强度 
将 得 到 加 强 ,这 一 论述 的 数学 描述 被 称 为 Hebb 学 习 规则 。 

Hebb 学 习 规 则 是 一 种 没有 指导 的 学 习 方 法 , 它 只 根据 神经 元 连接 间 的 激活 水 平 改 
变 权 重 , 因 此 这 种 方法 又 称 为 相关 学 习 或 并 联 学 习 。 

2. Delta(6 ) 学 习 规则 

Delta 规则 是 最 第 用 的 学 习 规 则 ,其 要 点 是 改变 单元 间 的 连接 权重 来 减 小 系统 实际 输 
出 与 应 有 的 输出 间 的 误差 。 这 个 规则 也 叫 Widrow-Hoff 学 习 规 则 9 ,首先 在 Adaline 模 
型 中 应 用 ,也 可 称 为 最 小 均 方差 规则 。 

Delta 规则 实现 了 梯度 下 降 减 少 误差 ,因此 使 误差 函数 达到 最 小 值 , 但 该 学 习 规 则 只 
适用 于 线性 可 分 图 数 ,无 法 用 于 多 层 网 络 。 此 外 ,后 面 要 介绍 的 BP 网 络 的 学 习 算 法 称 为 
BP 算法 ,是 在 Delta 规则 的 基础 上 发 展 起 来 的 ,可 在 多 层 网 络 上 有 效 地 学 习 。 
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3. 梯度 下 降 学 习 规则 

这 是 对 减 小 实际 输出 和 应 有 输出 间 误 差 方 法 的 数学 说 明 。Delta 规则 是 梯度 下 降 规 
则 的 一 个 例子 。 梯 度 下 降 学 习 规 则 的 要 点 为 在 学 习 过 程 中 ,保持 误差 曲线 的 梯度 下 降 。 
误差 曲线 可 能 会 出 现 局 部 的 最 小 值 。 在 网 络 学 习 时 ,应 尽 可 能 摆脱 误差 的 局 部 最 小 值 ,而 
达到 真正 的 误差 最 小 值 。 

4. Kohonen 学 习 规 则 

该 规则 是 由 Teuvo Kohonen 在 研究 生物 系统 学 习 的 基础 上 提出 的 ,只 用 于 没有 指 
导 下 训练 的 网 络 。 在 学 习 过 程 中 ,处 理 单元 苑 争 学 习 的 时 候 , 具 有 高 输出 的 单元 是 胜利 
者 , 它 有 能 力 阻 止 它 的 竞争 者 并 激发 相 邻 的 单元 。 只 有 胜利 者 才能 有 输出 ,也 只 有 胜利 者 
与 其 相 邻 单元 可 以 调节 权重 。 

在 训练 周期 内 , 相 邻 单元 的 规模 是 可 变 的 。 一 般 的 方法 是 从 定义 较 大 的 相 邻 单元 开 
始 ,在 训练 过 程 中 不 断 减 小 相 邻 的 范围 。 胜 利 单元 可 定义 为 与 输入 模式 最 为 接近 的 单元 。 
Kohonen 网 络 可 以 模拟 输入 的 分 配 。 

5. 后 向 传播 学 习 规则 

Jn Ib) £2 #8 (Back Propagation, BP) 学 习 , 是 目前 应 用 最 为 广泛 的 神经 网 络 学 习 规 
WW? 。 误 差 的 后 向 传播 技术 一 般 采 用 Delta 规则 。 此 过 程 涉及 两 步 ,第 一 步 是 正 反 馈 , 当 
输入 数据 输入 网 络 , 网 络 从 前 往 后 计算 每 个 单元 的 输出 ,将 每 个 单元 的 输出 与 期 望 的 输出 
进行 比较 ,并 计算 误差 。 第 二 步 是 癌 后 传播 ,从 后 回 前 重新 计算 误差 ,并 修改 权重 。 完 成 
这 两 步 后 才能 输入 新 的 输入 数据 。 这 种 技术 一 般 用 在 三 层 或 四 层 网 络 。 对 于 输出 层 , 已 
千 每 个 单元 的 实际 输出 和 应 有 的 输出 ,比较 容易 计算 误差 ,技巧 在 于 如 何 调节 中 间 层 单元 
的 权重 。 

6. 概率 式 学 习 规 则 

从 统计 力学 .分子 热 力学 和 概率 论 中 关于 系统 稳 态 能 量 的 标准 出 发 ,进行 神经 网 络 学 
习 的 方式 称 概率 式 学 习 。 神 经 网 络 处 于 某 一 状态 的 概率 主要 取决 于 在 此 状态 下 的 能 量 ， 
能 量 越 低 的 状态 ,出 现 的 概率 越 大 。 同 时 ,此 概率 还 取决 于 温度 参数 T.T ERK. SARS 
出 现 概 率 的 差异 便 越 小 , 较 容 易 跳 出 能 量 的 局 部 极 小 点 而 到 全 局 的 极 小 点 , 工 越 小 时 , 情 
形 正好 相反 。 概 率 式 学 习 的 典型 代表 是 玻 尔 效 曼 (Boltzmann) 机 学 习 规则 所 。 它 是 基于 
模拟 退火 的 统计 优化 方法 ,因此 又 称 模拟 退火 式 算 法 。 

7. 竞争 式 学 习 规 则 

纯 争 式 学 习 属 于 无 教师 学 习 方 式 。 这 种 学 习 方式 是 利用 不 同 层 间 的 神经 元 发 生 兴 
性 连接 以 及 同一 层 内 距离 很 近 的 神经 元 间 发 生 同 样 的 兴奋 性 连接 ,而 距离 较 远 的 神经 无 
产生 抑制 性 连接 。 在 这 种 连接 机 制 中 引入 竞争 机 制 的 学 习 方 式 称 为 苑 争 式 学 习 。 它 的 本 
质 在 于 神经 网 络 中 高 层次 的 神经 元 对 低层 次 神经 元 的 输入 模式 进行 苑 争 识别 。 

莞 争 式 机 制 的 思想 来 源 于 人 脑 的 自 组 织 能 力 。 大 脑 能 够 及 时 地 调整 自身 结构 ,自动 
地 回环 境 学 习 ,完成 所 需 执 行 的 功能 ,而 并 不 需要 教师 训练 。 昔 争 式 神经 网 络 亦 是 如 此 ， 
所 以 ,又 把 这 一 类 网 络 称 为 日 组 织 神 经 网 络 。 

从 上 述 学 习 规 则 和 学 习 方 法 中 不 难看 出 ,要 使 人 工 神 经 网 络 具 有 学 习 能 力 ,就 要 使 神 
经 网 络 的 知识 结构 变化 , 即 要 使 得 神经 元 间 的 结合 模式 发 生变 化 ,这 同 把 连接 权 回 量 用 什 
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么 方法 变化 是 等 价 的 。 所 以 ,所 谓 神 经 网 络 的 学 习 , 目 前 主要 是 指 通过 一 定 的 学 习 算 法 实 
现 对 突 触 结 合 强度 (连接 权重 ) 的 调整 ,使 其 具有 记忆 ,识别 ,分 类 ,信息 处 理 和 问题 优化 求 
解 等 功能 。 在 神经 网 络 发 展 过 程 中 ,新 的 学习 规则 会 不 断 出 现 。 


2.4 BP 神经 网 络 


241 基本 思想 


根据 网 络 结构 的 不 同和 学 习 算 法 的 区 别 , 人 工 神经 网 络 可 以 分 为 很 多 种 不 同 的 类 型 ， 
其 中 后 向 传播 学 习 的 前 馈 型 神经 网 络 (Back Propagation Feed-forward Neural Network, 
BPFNN/BPNN) 应 用 最 为 广泛 。 下 面 以 BPNN 为 例 , 说 明神 经 网 络 的 工作 原理 和 运行 
步骤 。 

在 BPNN 中 ,后 向 传播 是 一 种 学 习 算 法 ,体现 为 BPNN 的 训练 过 程 ,该 过 程 是 需要 监 
督学 习 的 ;前 馈 型 网 络 是 一 种 结构 ,体现 为 BPNN 的 网 络 构架 ,图 2.6 就 是 一 个 由 型 的 前 
馈 型 神经 网 络 。 这 种 神经 网 络 结构 清晰 ,使 用 简单 ,而 且 效 率 也 比较 高 ,因此 得 到 了 广泛 
的 重视 和 应 用 。 反 癌 传 播 算法 通过 迭代 处 理 的 方式 ,不 断 地 调整 连接 神经 元 的 网 络 权 重 ， 
使 得 最 终 输出 结果 和 预期 结果 的 误差 最 小 。 

神经 网 络 在 实际 的 应 用 中 分 为 训练 阶段 和 使 用 阶段 ,BPNN 也 不 例外 。 训 练 阶段 根 
据 给 定 的 样本 ,使 用 适当 的 学 习 算 法 (例如 后 回 传 播 学习 算 法 ) 调 整 某 种 结构 的 网 络 ( 例 如 
前 馈 型 神经 网 络 结构 ) 的 网 络 参 数 ( 例 如 网 络 结构 的 层 数 、 每 层 的 神经 元 数目 .连接 权重 、 
神经 元 偏 置 等 ) ,使 得 被 训练 的 网 络 能 够 对 样本 有 很 好 的 拟 合 作用 。 使 用 阶段 采用 已 经 训 
练 好 的 神经 网 络 ,对 一些 未 知 结果 的 输入 进行 运算 ,得 到 输出 。 一 般 情况 下 ,训练 阶段 和 
使 用 阶段 是 两 个 先后 的 过 程 ,一 旦 训练 结束 就 可 以 长 期 使 用 。 训 练 样本 的 选取 和 数量 对 
网 络 的 训练 效果 有 很 大 的 影响 ,过 少 的 样本 将 难以 有 效 地 对 实际 问题 进行 拟 合 , 而 过 多 的 
样本 也 会 使 得 训练 时 间 过 长 ,而 且 会 导致 过 学 习 现 象 (就 是 最 后 一 小 部 分 的 样本 对 结果 的 
影响 比较 大 )。 因 此 ,也 有 一 些 神经 网 络 除 了 在 训练 阶段 调整 网 络 参 数 之 外 ,在 使 用 过 程 
中 也 能 够 目 适 应 地 进行 相关 的 学 习 。 

BPNN 是 一 种 典型 的 神经 网 络 ,广泛 应 用 于 各 种 分 类 系统 , 它 也 包括 了 训练 和 使 用 
两 个 阶段 。 由 于 训练 阶段 是 BPNN 能 够 投入 使 用 的 基础 和 前 提 , 而 使 用 阶段 本 身 是 一 个 
非常 简单 的 过 程 ,也 就 是 给 出 输入 ,BPNN 会 根据 已 经 训练 好 的 参数 进行 运算 ,得 到 输出 
结果 ,因此 这 里 只 针对 BPNN 的 训练 阶段 说 明神 经 网 络 的 学 习 过 程 。BPNN 中 的 前 馈 型 
网 络 结构 是 指 在 处 理 样本 的 时 候 , 从 输入 层 输入 , 回 前 把 结果 输出 到 第 一 隐 含 层 , 然 后 第 
一 隐 含 层 将 接收 的 数据 处 理 后 作为 输出 ,该 输出 作为 第 二 隐 含 层 的 输入 ,以 此 类 推 , 直 到 
输出 层 的 输出 为 止 ; 反 疝 传播 是 指 通 过 比较 输出 层 的 实际 输出 和 预期 的 结果 ,得 到 误差 ， 
然后 通过 相关 的 误差 方程 式 调整 最 后 一 个 隐 含 层 到 输出 层 之 间 的 网 络 权 重 , 之 后 从 最 后 
一 个 隐 含 层 同 倒数 第 二 隐 含 层 进行 误差 反馈 ,调整 它们 之 间 的 网 络 权 重 , 以 此 类 推 ,直到 
输入 层 与 第 一 隐 含 层 之 间 的 网 络 权 重 调整 为 止 。 


24 计算 智能 


24.2 算法 流程 


BPNN 的 训练 过 程 具体 如 下 所 示 ,相应 的 流程 图 和 伪 代 码 如 图 2. 11 所 示 。 
// 功 能 : BP 神经 网 络 训练 过 程 的 伪 代 码 
初始 化 : 对 网 络 权 值 和 神经 元 俩 置 进 procedure BPNN 
Initialization, include the w; and ĝ; 
for each sample X 
送 代 次 数 I while not stop 
//forwards propagation of the input 
for each unit j in the 
hidden and output layer 
//calculate the output O; 
1 


行 随机 赋值 : 选取 第 一 个 输入 样本 


全 | 前 向 求 出 各 个 隐 合 层 和 输出 层 的 输出 


MERRE. KMA bA AIRA 


KA h a H h A inh ok E 


for each unit j in the output layer 
一 //calculate the error E; 
wa 
//back propagation of the error 
本 样本 训练 结束 ? = for each unit j in the hidden layer 
//calculate the error E;; 


T 
送 代 次 数 1 E = 0(1-0) >) Ex 


//adjust the network parameters 


for each network weight w; 


所 有 样本 训练 完毕 5 四 ey T 
for each biased 6; 


a 
= 0;=0;+ (1)E; 
于 至 下 一 个 ey 
进 择 下 一 个 输入 样本 end of while not stop 
end of for each sample X 
结束 end of procedure 


图 2.11 BP 神经 网 络 算法 训练 阶段 的 流程 图 和 伪 代 码 


步骤 1: 初始 化 网 络 权 重 

每 两 个 神经 元 之 间 的 网 络 连接 权重 ws 被 初始 化 为 一 个 很 小 的 随机 数 ( 例 如 一 1.0 一 
1.0, 或 者 一 0.5 一 0.5, 可 以 根据 问题 本 喘 而 定 ), 同 时 ,每 个 神经 元 有 一 个 偶 置 4. ,也 被 初 
始 化 为 一 个 随机 数 。 

对 每 个 输入 样本 x FRAG TR 2 进行 处 理 。 

步骤 2: 向 前 传播 输入 (前 馈 型 网 络 ) 

首先 ,根据 训练 样本 x 提供 网 络 的 输入 层 , 通 过 计算 得 到 每 个 神经 元 的 输出 。 每 个 
神经 元 的 计算 方法 相同 ,都 是 由 其 输入 的 线性 组 合 得 到 ,具体 的 公式 为 


ee o 
i ] 十 e 3 l+e¢ De Oi+4; ) 
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其 中 ,w; 是 由 上 一 层 的 单元 i 到 本 单元 7 的 网 络 权 重 ;O; 是 上 一 层 的 单元 i 的 输出 ;0, 为 
本 单元 的 偏 置 ,用 来 充当 国 值 ,可 以 改变 单元 的 活性 。 从 上 面 的 公式 可 以 看 到 ,神经 


元 7 的 输出 取决 于 其 总 输入 Si = 2 osO, 十 ,然后 通过 激活 函数 O;= as 


终 输 出 ,这 个 激活 图 数 称 为 logistic KARA sigmoid PK BX. HE WE BEAK fa A (BR A 
区 间 o~ ZE A — “MEL. FH F A eR BE TE Be HE AY ATT od, PIE E 7 BP 神经 网 络 算 
法 可 以 对 线性 不 可 分 的 分 类 问题 进行 建 模 , 大 大 拓展 了 其 应 用 范围 。 

步骤 3: 反 向 误差 传播 

由 步骤 2 一 路 癌 前 ,最 终 在 输出 层 得 到 实际 输出 ,可 以 通过 与 预期 输出 相 比 较 得 到 每 
个 输出 单元 j 的 误差 ,如 公式 EF; 二 0; (1 一 0O;) (Tj 一 0;) 所 示 , 其 中 T; 是 输出 单元 j 的 预 
期 输出 。 注 意 ,0O; (1 一 0O;) 是 logistic 图 数 的 导数 ,公式 的 推导 过 程 比较 复杂 ,这 里 仅仅 给 
出 最 终 的 应 用 公式 ,有 兴趣 的 读者 可 以 查阅 相关 的 参考 文献 L9]。 得 到 的 误差 需要 从 后 问 
前 传播 ,前 面 一 层 单元 j 的 误差 可 以 通过 和 它 连接 的 后 面 一 层 的 所 有 单元 & 的 误差 计算 
所 得 ,具体 的 公式 为 

E; = 0,(1—0,) >), waE, 

依次 得 到 最 后 一 个 隐 含 层 到 第 一 个 隐 含 层 每 个 神经 元 的 误差 。 

步骤 4: 网络 权 重 与 神经 元 偏 置 调整 

在 处 理 过 程 中 ,我 们 可 以 一 边 后 疝 传 播 误差 ,一 边 调整 网 络 权 重 和 神经 元 的 国 值 ,但 
是 ,为 了 方便 起 见 , 这 里 先 计算 得 到 所 有 神经 元 的 误差 ,然后 统一 调整 网 络 权 重 和 神经 元 
的 国 值 。 

调整 权重 的 方法 是 从 输入 层 与 第 一 隐 含 层 的 连接 权重 开始 ,依次 加 后 进行 ,每 个 连接 
权重 wy 根据 公式 wp =w 十 Awi 二 wi HOE; 进行 调整 。 

神经 元 偏 置 的 调整 方法 是 对 每 个 神经 元 j ETT UZ sh OO; = 0, + AO, =0, + (DE; 所 示 
的 更 新 。 

其 中 /1 是 学 习 率 ,通常 取 0 一 1 之 间 的 和 常数。 该 参数 也 会 影响 算法 的 性 能 ,经 验 表 明 ， 
太 小 的 学 习 率 会 导致 学习 进行 得 慢 , 而 太 大 的 学 习 率 可 能 会 使 算法 出 现在 不 适当 的 解 之 
间 振 动 的 情况 ,一 个 经 验 规则 是 将 学 习 率 设 为 迭代 次 数 1 的 倒数 ,也 就 是 1/1。 

步骤 5; 判断 结束 

对 于 每 个 样本 ,如果 最 终 的 输出 误差 小 于 可 接受 的 范围 或 者 迭代 次 数 1 达 到 了 一 定 
的 国 值 , 则 选取 下 一 个 样本 , 转 到 步骤 2 重新 继续 执行 ;否则 ,人 迭代 次 数 上 加 1 然后 转向 步 
TR 2 继续 使 用 当前 样本 进行 训练 。 


243 应 用 举例 


为 了 更 加 具体 地 说 明 BPNN 的 计算 过 程 ,我 们 将 通过 一 个 简单 的 分 类 训练 的 例子 ， 
说 明 BPNN 的 运行 机 理 。 

例 2.1 已 知 一 个 前 馈 型 神经 网 络 例子 如 图 2. 12 所 示 。 设 学 习 率 1 为 0.9, 当 前 的 训 
练 样本 为 x 二 {1,0,1) ,而 且 预 期 分 类 标号 为 1, 同 时 , 表 2.3 给 出 了 当前 该 网 络 的 各 个 连 
接 权 重 和 神经 元 偏 置 。 求 该 网 络 在 当前 训练 样本 下 的 训练 过 程 。 
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图 2.12 例 2.1 的 前 馈 型 神经 网 络 


表 2.3 例 2.1 的 网 络 连 接 权重 和 神经 元 偏 置 


EE [ee foe e e 
esj ea far [-as] ee [oo| oe] oa] oz 


解 : 首先 根据 样本 的 输入 ,计算 每 个 单元 的 输出 。 然 后 计算 每 个 单元 的 误差 ,并 后 问 
传播 。 最 后 根据 误差 对 网 络 连接 权重 和 神经 元 偏 置 进行 更 新 调整 。 这 些 计算 过 程 分 别 如 
表 2. 4、 表 2.5 MR 2.6 所 示 。 


表 2.4 每 个 神经 元 的 总 输入 和 输出 计算 表 


总 输入 S; = da 40; +ô; 
i 


0.2+0— 0.5—0.4=—0.7 


一 0. 3 十 0 十 0. 2+0. 2 一 0. 1 
(—0. 3) X (0. 332) — (0. 2) X CO. 525) +0. l= — 0. 105 


R25 每 个 神经 元 的 误差 计算 表 
神经 元 j 误差 E; 
6 (0. 474) X (1—0. 474) X (1—0. 474) =0. 1311 


(0.525) X (1—0. 525) X (0. 1311) X ( —0. 2) = — 0. 0065 
(0. 332) X (1—0. 332) X (0. 1311) X (— 0. 3) = — 0. 0087 


2.6 网 络 连接 权重 和 神经 元 偏 置 更 新 计算 表 


神经 元 j 调整 后 的 更 新 值 
w46 一 0. 3+ (0. 9) X (0. 1311) X (0. 332)= — 0. 261 
w56 一 0. 2+ (0. 9) X (0. 1311) X (0. 525) = — 0. 138 
W4 0. 2+ (0. 9) X (—0. 0087) X (1) =0. 192 
w5 —0. 3+ (0. 9) X (—0. 0065) X (1) = — 0. 306 
W24 0. 4+ (0. 9) X (—0. 0087) X (0) =0. 4 
w25 0. 1+ (0. 9) X (—0. 0065) X (0) =0. 1 
w34 一 0. 5+ (0. 9) X (—0. 0087) X (1) = — 0. 508 
W35 0. 2+ (0. 9) X (—0. 0065) X (1) =0. 194 
Os 0. 1+ (0. 9) X (0. 1311) =0. 218 
0; 0. 2+ (0.9) X (—0. 0065) =0. 194 


0, 一 0. 4+ (0. 9) X (—0. 0087) = — 0. 408 
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2.5 进化 神经 网 络 


尽管 人 工 神经 网 络 目 20 世纪 80 年 代 复 兴 后 的 20 多 年 里 取得 了 令 人 瞩目 的 广泛 发 
展 与 应 用 ,但 是 由 于 网 络 本 身 的 不 确定 性 使 得 在 设计 和 使 用 的 过 程 中 需要 花费 大 量 的 时 
间 去 寻找 合适 的 网 络 ,而 作为 人 工 神 经 网 络 本 身 应 该 具有 的 优势 : 强 学 习性 、 强 适应 性 、 
大 规模 并 行 处 理 能 力 等 都 不 能 很 好 地 体现 出 来 。 对 于 某 一 具体 问题 ,人 工 神经 网 络 的 设 
计 是 极其 复杂 的 工作 ,至 今 仍 没有 系统 的 规律 可 以 遵循 。 目 前 ,一般 凭 设计 者 主观 经 验 与 
反复 实验 挑选 ANN 设计 所 需 的 工具 "J 。 这 样 不 仅 使 得 设计 工作 的 效率 很 低 , 而 且 还 不 
能 保证 设计 出 的 网 络 结构 和 权重 等 参数 是 最 优 的 ,从 而 造成 资源 的 大 量 浪 费 和 网 络 的 性 
能 低下 。 这 种 状况 极 大 地 限制 了 神经 网 络 的 应 用 与 发 展 。 为 了 解决 这 个 问题 ,人 研究 者 提 
出 了 使 用 进化 算法 去 优化 神经 网 络 ,通过 进化 算法 和 人 工 神 经 网 络 的 结合 使 得 神经 网 络 
能 够 在 进化 的 过 程 中 自 适应 地 调整 其 连接 权重 “*' 沾 、 网 络 结构 "2 引 、 学 习 规则 中 等 这 些 
在 使 用 神经 网 络 的 时 候 难 以 确定 的 参数 ,从 而 形成 了 进化 神经 网 络 (Evolutionary Neural 
Networks. ENN/EANN), 

进化 算法 (Evolutionary Algorithms, EAs) PUS] 是 一 种 基于 生物 进化 和 演化 的 算法 ， 
典型 的 有 遗传 算法 (Genetic Algorithms, GA)  、 进 化 策略 (Evolution Strategy, ES) 、 
遗传 编程 (Genetic Programming, GP)“, 3 4k # 8j (Evolutionary Programming, 
EP)“?) 蚁 群 优化 算法 (Ant Colony Optimization, ACO) 和 粒子 群 优化 算法 (Particle 
Swarm Optimization,PSO) 等 。 这 些 算法 将 在 后 面 的 草 节 分 别 进 行 介 绍 。 由 于 进化 算法 
不 要 求 待 解 问题 连续 、 可 微 , 仅 仅 要求 问 题 可 计算 ,而 且 是 一 种 全 局 的 搜索 算法 ,因此 非常 
适合 用 于 优化 神经 网 络 。 进 化 算法 和 神经 网 络 的 结合 给 神经 网 络 指明 了 新 的 发 展 方 回 ， 
对 解决 神经 网 络 结构 复杂 参数 难 调 等 问题 起 到 了 重大 的 作用 。 采 用 进化 算法 和 神经 网 
络 结合 的 算法 已 经 取得 了 很 好 的 应 用 效果 "5 。 


2.6 神经 网 络 的 应 用 


随 着 神经 网 络 的 不 断 改 进 和 完善 ,ANN 被 众多 的 研究 者 应 用 到 了 越 来 越 多 的 领域 
当中 。 

d) 民用 应 用 领域 有 : 语言 识别 .图 像 识 别 与 理解 .计算 机 视觉 .智能 机 器 人 故障 检 
测 、 实 时 语言 翻译 ,企业 管理 ,市 场 分 析 、 决 策 优化 、 物 资 调运 、 自 适应 控制 .专家 系统 、 智 能 
接口 ,神经 生理 学 、 心 理学 和 认 知 科学 研究 等 。 

(2) 军用 应 用 领域 有 : 语音 、 图 像 信 息 的 录取 与 处 理 ,雷达 、 声 纳 的 多 目标 识别 与 跟 
踪 , 战 场 管理 和 决策 支持 系统 ,军用 机 器 人 控制 ,各 种 情况 ,信息 的 快速 录取 、 分 类 与 查询 ， 
导弹 的 智能 引导 ,保密 通信 ,航天 需 的 姿态 控制 等 。 

在 本 节 ,我 们 将 从 识别 与 聚 类 .神经 优化 、 建 模 与 预测 .控制 与 处 理 等 大 的 方面 对 人 工 
神经 网 络 的 应 用 进行 介绍 。 由 于 ANN 目前 已 经 在 许多 研究 和 实践 领域 得 到 了 广泛 的 发 
展 和 应 用 ,因此 本 节 所 介绍 的 也 仅仅 是 千 百 种 应 用 中 的 一 部 分 ,希望 读者 能 帘 一 斑 而 见 全 
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鹏 ,如 果 需 要 进一步 认识 和 了 解 , 可 以 参考 相关 的 书籍 和 经 典 的 综述 文章 。 

1. 识别 与 聚 类 应 用 

人 工 神 经 网 络 的 典型 应 用 就 是 模式 识别 、 分 类 与 聚 类 。 一 般 来 说 ,模式 识别 和 分 类 是 
指 通过 使 用 一 系列 的 训练 数据 对 神经 网 络 进行 训练 ,在 有 教师 指导 学 习 方 法 下 ,让 神经 网 
络 在 训练 数据 的 训练 下 调整 网 络 的 结构 和 权重 ,以 达到 正确 识别 的 目的 。 例 如 2.4 WY 
BP 神经 网 络 就 是 一 个 典型 的 模式 识别 与 分 类 的 例子 。 和 传统 的 判别 式 统计 分 类 方法 相 
比 , 人 工 神 经 网 络 方法 不 需要 被 识别 问题 具有 线性 可 分 的 前 提 , 因 此 能 够 应 用 到 非 线 性 的 
识别 与 分 类 中 ,具有 非常 广泛 的 应 用 价值 。 如 图 2. 13(a) 所 示 , 神 经 网 络 通 过 训练 和 学 
习 , 获 取 了 非 线性 的 识别 和 分 类 能 力 , 从 而 能 够 将 输入 数据 通过 训练 好 的 非 线性 结构 映射 
到 输出 空间 。 目 前 ,神经 网 络 已 经 在 手写 字符 ,汽车 牌照 ,指纹 、 声 音 和 人 脸 识 别 等 模式 识 
别 领域 取得 了 成 功 的 应 用 ,而 且 还 可 用 于 目标 的 目 动 识别 .目标 跟踪 、 机 融 人 传 感 硕 图 像 
识别 及 地 震 信 和 号 的 鉴别 等 。 


(b) 聚 类 
图 2. 13 ”模式 识别 分 类 与 聚 类 


聚 类 和 分 类 的 区 别 在 于 聚 类 需要 划分 的 类 是 未 知 的 , 它 要 求 将 数据 对 象 分 组 为 多 个 
KM fe (cluster) ,在 同一 复 中 的 对 象 之 间 具 有 较 高 的 相似 度 ,而 不 同 复 中 的 对 象 差别 较 
大 ,如 图 2.13(b) 所 示 。 关 于 人 工 神 经 网 络 在 模式 识别 、 分 类 、 聚 类 领域 的 相关 应 用 的 更 
多 内 容 , 读 者 可 以 参考 相关 书籍 ?7 。 

2. 计算 与 优化 应 用 

神经 计算 是 人 工 神 经 网 络 的 一 个 重要 应 用 手段 ,也 为 各 种 优化 问题 提供 了 解决 的 方 
案 。 优 化 问题 就 是 需要 在 问题 的 解 空 间 里 面 寻找 一 个 最 优 的 解 ,在 满足 一 定 约束 条 件 下 
使 得 目标 孔 数 最 大 化 或 者 最 小 化 。 由 于 神经 网 络 具 有 并 行 搜 索 处 理 信息 、 联 想 记 忆 等 特 
点 ,在 搜索 系统 的 全 局 最 优 或 局 部 最 优 解 方面 ,具有 很 大 的 优势 ,因此 在 优化 问题 上 得 到 
了 广泛 的 研究 和 应 用 。 

在 使 用 人 工 神 经 网 络 进行 优化 计算 的 时 候 , 一 般 都 是 选择 Hopfield 神经 网 络 。 例 
如 ,Hopfield 和 Tank ®t 在 1985 年 就 提出 了 一 种 使 用 神经 网 络 求解 离散 组 合 优化 问题 
的 方法 。 他 们 提出 的 神经 网 络 方法 ,对 于 不 超过 30 个 城市 的 TSP 问题 一 般 都 能 够 找到 
最 优 解 或 者 近似 最 优 解 ,但 是 当 城 市 规模 变 大 的 时 候 , 效 果 就 不 大 理想 了 。 

近年 来 , 随 大 进化 计算 的 发 展 , 人 们 更 加 倾 品 于 使 用 遗传 算法 、 蚁 群 优 化 算法 、 粒 子 群 
优化 算法 等 方法 对 各 种 连续 或 者 离散 领域 的 最 优化 问题 进行 求解 。 而 神经 网 络 方法 则 更 
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多 地 使 用 在 模式 识别 、 聚 类 分 类 、 建 模 预 测 等 方面 。 

3. 建 模 与 预测 应 用 

人 工 神经 网 络 的 非 线性 处 理 能 力 使 得 它 在 各 种 系统 建 模 上 具有 很 大 的 优势 。 人 工 神 
经 网 络 应 用 在 非 线性 系统 建 模 上 的 时 候 , 实 质 上 就 是 通过 训练 神经 网 络 ,让 其 在 训练 数据 
中 获取 知识 ,并 且 完 成 从 输入 到 输出 的 非 线性 映射 过 程 。 处 理 该 类 问题 一 般 都 是 采用 有 
教师 学 习 方法 ,从 提供 的 训练 数据 中 挖掘 输入 和 输出 之 间 的 内 在 联系 ,寻找 系统 的 内 在 规 
律 , 利 用 优化 计算 方法 ,建立 系统 的 非 线 性 模型 。 图 2. 14(a) 所 示 就 是 人 工 神经 网 络 对 郴 
数 进行 拟 合 建 模 的 例子 。 通 过 训练 样本 的 拟 合 ,神经 网 络 可 以 得 到 将 输入 映射 到 输出 的 
模型 。 一 般 而 言 ,多 层 网 络 结构 是 比较 第 用 于 实际 应 用 中 的 ,因为 它 能 够 对 任意 困 数 进行 
一 定 精 度 的 盘 近 。 神 经 网 络 用 于 明 数 盘 近 建 模 的 现实 应 用 主要 包括 两 类 : 一 类 是 没有 现 
实 模 型 的 问题 ,例如 其 数据 都 是 通过 实验 或 者 观察 的 方法 得 到 的 ; 另 一 类 是 理论 模型 非常 
林 , 以 至 于 很 难 使 用 该 模型 对 已 知 数据 进行 计算 和 分 析 的 问题 ,例如 微生物 学 中 的 细菌 
生长 预测 等 问题 “1 人 1 。 


| 
训练 数据 
X f(1) (4) ART [Al ¢ t(n) t(n+1) 
(a) EH (RIT ) (b) 预测 


图 2.14 神经 网 络 建 模 与 预测 


其 实 ,在 很 多 情况 下 ,神经 网 络 建 模 是 为 了 预测 所 15 。 所 谓 神 经 网 络 预测 就 是 根据 
一 定数 量 的 历史 样本 数据 (一 般 为 表征 某 一 种 现象 时 间 序 列 的 数据 ,例如 交通 流量 、 外 汇 
走势 等 ) 对 神经 网 络 进行 训练 ,然后 用 来 对 当前 的 ,或 者 未 来 的 时 刻 情 景 进行 预测 ,如 图 
2.14(b) 所 示 。 例 如 已 经 得 到 了 时 间 序 列 数据 样本 11),1(2),…,t(n) 以 及 其 对 应 的 输 
出 y(1)，y(2),… ,y(n) ,如 果 想 预测 上 2 十 1) 时 刻 的 输出 (2 十 1) ,可 以 通过 以 下 的 方式 
训练 和 使 用 网 络 。 在 训练 的 时 候 , 可 以 将 一 定 每 长 度 为 工 的 历史 数据 作为 一 个 输入 , 例 
如 zi 一 工 十 1) ，zG 一 二 十 2) ,GD) ,其 中 i 三 L, 作 为 网 络 的 输入 ,yO 是 输出 ,作为 第 一 
个 训练 样本 。 然 后 输入 7Gi 一 工 十 2), 1Gi 一 工 十 3),…,t(i 十 1) 和 输出 y(i 十 1) 作 为 第 二 个 
训练 样本 ,等 等 ,对 神经 网 络 进行 训练 ,得 到 良好 的 权重 。 在 使 用 的 过 程 中 ,为 了 得 到 
1(n 十 1) 时 刻 的 输出 y(n 十 1) ,我 们 只 需要 使 用 tn 一 LL 十 2) ,tCn 一 LL 十 3),…,t(n 十 1) 作 为 
输入 ,通过 训练 好 的 神经 网 络 即 可 得 到 输出 y(n 十 1)。 在 这 里 ,长 度 工 是 一 个 参数 ,对 网 
络 的 预测 性 能 有 一 定 的 影响 ,需要 根据 具体 的 问题 设 定 ,或 者 通过 不 断 的 尝试 而 找到 最 优 
的 设置 。 

4. 控制 与 处 理应 用 

神经 网 络 已 经 在 自动 控制 和 信息 处 理 等 各 个 领域 取得 了 相当 成 功 的 应 用 ”5 。 在 


29 


30 


计算 智能 


自动 控制 领域 ,其 主要 的 应 用 包括 系统 建 模 和 辨识 参数 整定 .极点 配置 .内 模 控 制 、 优 化 
设计 、 预 测控 制 、 最 优 控制 滤波 与 预测 容错 控制 等 。 另 外 ,神经 网 络 还 在 机 融 人 控制 方面 
发 挥 看 重要 的 作用 ,能 够 实现 对 机 需 人 轨道 控制 ,以 及 操作 机 入 人 有 眼 手 系 统 , 币 用 于 机 械 
手 的 故障 诊断 及 排除 、 智 能 目 适 应 移动 机 人 各 人 的 导航 、 视 觉 系统 等 。 


在 各 种 信息 、 信 号 处 理 领 域 , 神 经 网 络 也 有 重要 的 突破 。 例 如 在 图 像 处 理 方面 ,神经 


网 络 能 够 很 好 地 对 图 像 进行 边缘 监测 、 图 像 分 割 、 图 像 压 缩 和 图 像 恢 复 等 操作 。 此 外 , 神 
经 网 络 被 广泛 使 用 于 信号 处 理 方面 ,例如 目标 检测 、 多 目标 跟 踊 、 灯 波 去 品 、 畸 形 波 恢 复 、 
雷达 回 波多 目标 分 类 、 运 动 目标 速度 估计 多 探测 信号 融合 等 。 
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请 指出 人 工 神经 元 是 怎样 去 模拟 生物 神经 元 的 结构 和 功能 的 。 
简 述 人 工 神 经 网 络 的 发 展 历程 。 

人 工 神经 网 络 有 哪些 典型 的 结构 和 重要 的 学 习 算法 ? 

参考 2.4 节 的 内 容 , 上 机 编程 实现 BPNN 算法 。 

通过 查阅 相关 参考 文献 ,了 解 神 经 网 络 在 各 个 领域 的 应 用 。 
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目 然 语言 中 的 许多 概念 都 具有 模糊 
性 ， 在 用 传统 数学 方法 精确 处 理 它们 的 
时 候 产 生 了 不 少 麻烦 。 例 如 ,“ 沙 堆 ” 这 
个 概念 ， 究 竟 多 少 粒 沙子 才能 叫做 “ 沙 


堆 ” 呢 ? 如 果 这 里 有 一 个 确切 的 临界 值 ， 


堵 么 ， 比 这 个 值 少 一 粒 呢 ? 少 两 粒 呢 ? 


irs FEND PERD WR 
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模糊 逻辑 (Fuzzy Logic, FL) 
在 一 定 程度 上 解决 了 这 个 问题 。 

在 模糊 逻辑 中 ， 一 个 命题 不 
再 非 真 即 假 ， 它 可 以 被 认为 是 
“FSP AY EL” = 模糊 逻辑 中 的 隶属 
度 在 [0,1] 之 间 取 值 ， 用 以 表示 程 
度 。 模糊 逻 辑 在 机 器 和 自然 语言 
之 间架 设 了 一 座 桥 梁 . 
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模糊 逻辑 作为 人 工 智能 领域 的 一 种 重要 工具 ,为 表示 和 处 理 自然 语言 和 人 类 思维 的 
模糊 性 提供 了 一 种 强 有 力 的 手段 。 

本 草 对 模糊 逻辑 进行 介绍 ,包括 模糊 逻辑 的 基本 思想 .研究 和 应 用 进展 ,以 及 模糊 集 
合 、 模 糊 推理 .模糊 计算 和 模糊 神经 网 络 。 通 过 对 相关 理论 及 其 应 用 的 介绍 ,本草 为 谈 者 
呈现 了 模糊 理论 的 主要 图 景 和 广泛 的 应 用 前 景 ,并 提供 了 相关 的 参考 资料 ,同时 通过 一 些 
具体 的 实例 加 深 读者 对 模糊 迎 辑 和 模糊 计算 的 认识 和 了 人 解 。 本 草 的 主要 内 容 如 下 : 

。 模糊 逻辑 便 介 ; 

。 模糊 集合 与 模糊 逻辑 ; 

。 模糊 逻辑 推理 ; 

。 模糊 计算 的 流程 ; 

。 模糊 逻辑 的 应 用 。 


3.1 模糊 逻辑 简介 


3.1.1 模糊 逻辑 的 基本 原理 


模糊 逻辑 (Fuzzy Logic,FL) 是 一 种 使 用 隶属 度 代 蔡 布尔 真 值 的 逻辑 ,是 模糊 理论 
的 重要 内 容 , 在 人 工 智 能 领域 有 重要 意义 。 与 经 典 的 二 值 逻 辑 不 同 , 它 并 不 使 用 截然 
不 同 的 二 值 来 表达 所 有 命题 ,而 是 使 用 隶属 度 来 表达 ,因而 更 适合 描述 实际 生活 中 陈 
述 的 不 精确 性 。 模 糊 迎 辑 目 前 已 经 在 工业 控制 等 领域 获得 了 成 功 的 应 用 ,并 市 来 了 广 
沁 的 实际 效益 。 

模糊 理论 的 创始 人 ,加 州 大 学 伯克利 分 校 的 L， Zadeh 教授 时 提出 过 一 个 不 相 容 原 
理 ”:“ 当 系统 的 复杂 性 增长 时 ,人 们 对 系统 特性 作出 精确 而 有 效 的 描述 的 能 力 就 相应 降 
低 ,直到 达到 一 个 国 值 。 一 旦 超过 这 个 值 ,精确 性 和 有 效 性 将 变 成 两 个 相互 排斥 的 特性 。?” 
也 就 是 说 , 当 系 统 的 复杂 性 达到 一 定 程度 时 ,就 不 能 同时 对 系统 进行 既 精 确 又 有 效 的 描 
述 。 描 述 的 精确 性 会 损害 有 效 性 ,而 有 效 性 要 牺牲 精确 性 。 系 统 越 复杂 ,这 一 现象 越 
明显 。 

真实 世界 无 疑 是 复杂 的 ,传统 数学 方法 与 人 的 思维 采用 不 同 的 方式 描述 复杂 的 世 
界 : 传统 的 数学 方法 第 第 试图 进行 精确 定义 ,而 人 关于 真实 世界 中 事物 的 概念 往往 是 
模糊 的 ,没有 精确 的 界限 和 定义 。 在 处 理 一 些 问题 时 ,精确 性 和 有 效 性 形成 了 矛盾 , 诉 
诸 精 确 性 的 传统 数学 方法 变 得 无 效 , 而 具有 模糊 性 的 人 类 思维 却 能 轻 兄 解决 。 例 如 人 
腔 识 别 问题 ,这 一 问题 对 于 擅长 精确 计算 的 计算 机 来 说 十 分 棘手 ,然而 对 人 类 的 幼儿 
来 说 却 并 不 困难 。 

模糊 理论 为 计算 机 提供 了 一 种 处 理 现实 世界 中 自然 语言 与 人 类 思维 模糊 性 的 方法 。 
其 理论 的 基本 出 发 点 之 一 就 是 取消 二 值 之 间 非 此 即 彼 的 对 立 , 用 隶属 度 表 示 二 值 间 的 过 
渡 状 态 。 这 为 进行 不 精确 而 有 效 的 描述 提供 了 便利 ,也 为 将 符合 人 类 思维 习惯 的 模糊 推 
理 、 模 糊 决 策 移植 到 计算 机 中 提供 了 理论 工具 。 经 典 二 值 迎 辑 中 ,通常 以 0 表示 “ 假 ”* 以 1 
表示 “" 真 ”, 一 个 命题 非 真 即 假 。 但 在 实际 应 用 中 ,这 种 非 此 即 彼 的 逻辑 会 遇 到 不 少 问题 。 
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例如 , “室温 在 27C 是 高 温度 ”, 这 个 命题 真 值 如 何 呢 ?如 有 果 考 虑 到 命题 的 实际 意义 ,无论 
认为 是 还 是 否 , 答 案 都 过 于 极端 。 在 模糊 逻辑 中 ,一 个 命题 不 再 非 真 即 假 , 它 可 以 被 认为 
是 “部 分 的 真 ”。 模 糊 逻 辑 中 的 隶属 度 在 [0,1] 之 间 取 值 , 用 以 表示 程度 。 上 面 关于 温度 的 
问题 ,可 以 认为 该 温度 对 “高 温度 ”的 隶属 度 是 0.6, 即 “部 分 的 高 温 ”。 由 于 模糊 逻辑 更 接 
近 自 然 语言 以 及 人 类 的 思维 方式 , 故 可 以 为 人 工 智能 领域 提供 一 种 重要 的 研究 方法 。 

需要 注意 的 是 ,尽管 以 "模糊 ?为 名 ,但 模糊 逻辑 本 身 并 非 捉摸 不 定 的 。 模 糊 逻 辑 扮演 
了 自然 语言 与 机 器 之 间 的 接口 ,其 自身 并 没有 不 确定 性 和 不 可 预测 性 ,对 于 特定 的 模糊 系 
统 ,给 定 系统 的 输入 ,其 输出 是 完全 可 以 预测 的 。 


3.1.2 模糊 逻辑 与 模糊 系统 的 发 展 历 程 


20 世纪 20 年 代 , 波 兰 数学 家 Jan Lukasiewicz 提出 了 多 值 逻 辑 (many-valued logic), 
1937 年 量子 哲学 家 Max Black 提出 了 不 明确 集合 (vague set) ,这 些 均 为 模糊 逻辑 的 发 展 
竟 定 了 思想 来 源 和 理论 基础 。 美 国 加 州 大 学 伯克利 分 校 的 LZadeh 教授 于 1965 年 提出 
了 模糊 集合 (fuzzy sets) ,1973 年 又 提出 了 模糊 逻辑 5 。L. Zadeh 教授 提出 了 一 个 著名 
的 不 相 容 原理 , 即 当 系统 达到 一 定 复杂 度 的 时 候 , 对 系统 描述 的 精确 性 和 有 效 性 成 为 不 
盾 。 这 一 理论 为 模糊 逻辑 在 应 用 中 的 有 效 性 提供 了 文 持 。 

模糊 理论 被 提出 后 ,在 争议 中 继续 发 展 ,并 在 实践 中 得 到 了 应 用 。1974 年 ,第 一 个 模 
糊 控 制 匡 汽 引擎 系统 和 第 一 个 模糊 交通 指挥 系统 诞生 了。 这 两 个 系统 的 设计 者 是 喘 国 伦 
AIS Ea bey Ebrahim Mamdani 教授 。 他 认为 采用 模糊 理论 的 优点 是 可 以 利用 经 
验 法 则 ,而 不 需要 程序 模型 。1980 年 ,丹麦 的 史密斯 公司 开始 使 用 模糊 控制 操作 水 泥 旋 
转 窑 ,以 控制 锻 烧 温度 、 出 口 温度 、 旋 转 情 况 、 冷 却 速 率 等 。 

1984 年 ,国际 模糊 系统 学 会 (International Fuzzy Systems Association ,IFSA) 成 立 了 
日 本 .北美 .欧洲 .中 国 大 陆 四 个 分 会 。1987 年 ,第 二 届 模 糊 系统 学 大 会 在 日 本 东京 召开 ， 
并 展示 了 模糊 目 动 控制 应 用 于 仙台 市 地 铁 的 目 动 驾驶 的 成 果 。 此 后 ,模糊 理论 获得 了 较 
广泛 的 关注 和 进一步 发 展 。 

进入 20 世纪 90 年 代 , 模 糊 系统 在 日 本 电表 行业 得 到 了 广泛 应 用 ,并 吸引 了 大 量 人 研究 
者 的 注意 。 然 而 ,尽管 模糊 系统 有 众多 优点 ,对 模糊 系统 的 严格 数学 分 析 方 法 并 没有 被 构 
建 ,模糊 系统 的 设计 方法 没有 成 熟化 、 系 统 化 ,其 适用 的 问题 也 没有 得 到 严格 界定 。 面 对 
这 些 困 难 , 模糊 理论 的 创始 人 L. Zadeh 教授 于 1993 年 提出 了 软 计 算 (Soft 
Computing)! ,试图 以 人 类 的 思维 方式 和 自然 语言 表达 变量 之 间 的 关系 ,并 以 条 件 命题 
记录 法 则 。 图 3. 1 给 出 了 模糊 理论 的 发 展 历程 。 

自 1965 年 模糊 集合 论 被 创建 以 来 ,在 几 十 年 中 ,模糊 系统 理论 和 应 用 均 得 到 了 广泛 
的 关注 并 取得 了 飞速 的 发 展 。 模 糊 逻 辑 与 神经 网 络 的 结合 ,模糊 逻辑 与 进化 计算 的 结合 
等 也 为 解决 一 些 复杂 非 线 性 问题 提供 了 新 的 选择 。 目 前 ,模糊 逻辑 已 经 在 系统 工程 .月 动 
控制 ,信号 处 理 、 辅 助 决策 、 人 工 智 能 、 心 理学、 生态 学 、 语 言 学 等 众多 人 研究 领域 取得 了 广泛 
的 成 功 ,并 成 为 新 世纪 人 工 智 能 领域 具有 巨大 发 展 淤 力 的 方 回 之 一 。 很 多 重要 的 国际 学 
术 期 刊 和 国际 会 议 都 对 模糊 逻辑 方面 的 研究 成 果 非 党 重视, 收录 了 很 多 高 质量 的 学 术 文 
草 。 表 3. 1 列举 了 模糊 系统 相关 的 重要 学 术 期 刊 和 国际 会 议 。 
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20 世 纪 初 20 thee 70 年 代 20 世 纪 70 一 80 年 代 20 世 纪 90 年 代 
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图 3.1 模糊 理论 的 发 展 历程 


表 3.1 模糊 逻辑 相关 的 学 术 期 刊 和 国际 会 议 


IEEE Transactions on Fuzzy Systems 
IEEE Transactions on Systems, Man and Cybernetics 


FRAR Journal of System, Control and Information 
IEEE International Conference on Fuzzy Systems 
国际 会 议 IEEE International Conference on Systems; Man, and Cybernetics 


International Conference on Fuzzy Systems and Knowledge Discovery 


3.2 ”模糊 集合 与 模糊 逻辑 


本 节 是 关于 模糊 集合 、 模 糊 逻 辑 、 模 糊 关 系 的 基础 知识 ,为 介绍 模糊 推理 .模糊 计 算 做 
理论 准备 ,包括 下 列 要 点 : 

。 模糊 集合 的 概念 ; 

。 模糊 集合 的 隶属 度 函 数 ; 

。 模糊 集合 上 的 运算 及 其 基本 和 定律; 

。 模糊 逻辑 及 其 基本 定律 ; 

。 模糊 关系 及 其 合成 运算 。 


32.1 模 灿 集合 与 隶属 度 函 数 


按照 经 典 集合 的 定义 ,对 于 任意 一 个 集合 A, 论 域 中 的 任何 一 个 元 素 xz, 或 者 属于 A， 
或 者 不 属于 A ,没有 中 间 情 况 存 在 。 论 域内 的 任意 元 素 与 集合 A 的 关系 可 以 用 一 个 特征 
函数 表达 ,而 同时 ,集合 A 也 可 以 由 其 特征 函数 定义 : 

ie PY € A 
Pree oe (3.1) 


AP FARRA CERAT A 和 完全 不 属于 A 两 种 情况 ,任何 中 间 情 况 都 
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是 不 存在 的 。 这 种 非 此 即 彼 在 数学 上 非常 卓然, 然而 ,由 日 常生 活 中 的 概念 规定 的 集合 却 
并 非 总 是 这 样 清晰 ,用 * 非 此 即 彼 ” 的 方式 来 处 理 它 们 往往 会 招来 麻烦 。 

有 一 个 著名 的 沙 堆 悖 论 体现 了 这 种 困难 ,如 图 3.2 所 示 。 且 看 一 个 问题 :“ 从 一 个 沙 
堆 里 拿 走 一 粒 沙子 ,这 还 是 一 个 沙 堆 吗 ?” 如 有 果 管 案 只 能 是 “是 ”或 “ 否 ”, 看 上 去 显然 应 该 选 
择 “ 是 ”。 因 为 在 一 般 人 的 概念 里 ,“ 沙 堆 ” 指 的 就 是 由 大 量 的 沙子 聚集 在 一 起 构成 的 事物 ， 
从 中 拿 走 区 区 一 粒 , 目 然 还 是 一 个 沙 堆 。 然 而 ,如 有 果 回 答 " 是 ", 这 样 顺 推 下 去 就 会 择 和 人 陷 
BF: 从 上 次 剩 下 的 沙 堆 里 再 合 走 一 粒 沙 子 , 剩 下 的 还 是 一 个 沙 堆 ,那么 ,如 此 反复 ,直到 只 
剩 下 两 三 粒 沙子 甚至 只 有 一 粒 沙子 时 ,这 也 还 是 一 个 沙 堆 了 。 这 显然 是 与 常识 相 迟 的 。 
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这 里 的 问题 就 在 于 “ 沙 堆 ” 这 个 概念 是 模糊 的 ,没有 一 个 清晰 的 界限 将 “ 沙 堆 ” 与 “ 非 沙 
堆 ” 分 开 。 我 们 没有 办 法 明确 指出 ,在 这 个 不 断 拿 走 沙 子 的 过 程 中 ,什么 时 候 “ 沙 堆 ” 不 再 
是 “ 沙 堆 ”。 与 “ 沙 堆 ” 相 似 的 模糊 概念 还 有 “年 轻 人 ”“ 小 个 子 ”“ 大 房子 ”等 。 在 用 传统 数 
学 方法 处 理 这 些 概 念 时 ,它们 的 模糊 性 让 人 头疼 ,然而 有 些 消除 这 种 模糊 性 的 尝试 却 是 与 
常识 相 违 的 。 以 “年 轻 人 ”构成 的 集合 为 例 , 如 果 我 们 规定 30 岁 以 下 的 人 才 是 年 轻 人 ,这 
个 概念 的 模糊 性 就 被 消除 了 ,但 是 , 比 30 岁 大 1 天 的 人 就 完全 被 排除 在 “年 轻 人 ”之 外 ,这 
显然 是 不 合理 的 。 

模糊 集合 理论 在 一 定 程度 上 解决 了 这 个 问题 。 在 回答 沙 堆 悖 论 中 “是 否 为 沙 堆 ” 的 问 
题 时 ,我 们 可 以 不 再 仅仅 使 用 “是 ”和 “ 否 ” 两 种 答案 ,而 是 可 以 回答 “部 分 的 是 ”, 即 给 出 对 
“ 沙 堆 ” 的 隶属 度 。 使 用 这 种 方法 来 描述 “ 沙 堆 ”“ 年 轻 人 ”“ 小 个 子 ”“ 大 房子 ”等 集合 时 ， 
这 些 集 合 就 不 再 有 明确 的 边界 ,我们 将 之 称 为 模糊 集合 。 为 区 别 于 经 典 集合 ,可 以 将 一 个 
模糊 集合 记 作 A. 

1965 年 ,Zadeh 教授 已 最 早 提出 了 模糊 集合 的 概念 并 给 出 其 定义 。 模 糊 集 合 的 定 

定义 3.1 设 存在 一 个 普通 集合 U,U 到 [0,1] 区 间 的 任 一 映射 us 都 可 以 确定 U 的 
一 个 模糊 子 集 , 称 为 U 上 的 模糊 集合 A 。 其 中 映射 wa 叫做 模糊 集 A 的 隶属 度 函 数 , 对 于 
U 上 一 个 元 素 &w ,pa Co 叫做 对 于 模糊 集 A 的 隶属 度 , 也 可 写作 A). 

这 里 ,U 被 称 为 模糊 集合 A 的 论 域 ,wa 是 该 模糊 集 的 隶属 度 孔 数 ,U 上 的 任意 元 素 
u 不 再 只 有 属于 A 和 不 属于 A 两 种 情况 ,每 个 元 素 u 都 有 对 于 A 的 隶属 度 paw). RIR 
BE ja (zx) 表 示 程 度 , 它 的 值 越 大 ,表明 vw 属于 A 的 程度 越 高 ,反之 则 表明 w 属于 A 的 程度 
越 低 。 

经 典 集合 可 以 看 作 一 种 退化 的 模糊 集合 , 即 论 域 中 不 属于 该 经 典 集合 的 元 素 隶 属 度 
为 0, 其 余 元 素 隶 属 度 为 1。 

模糊 集合 的 表示 方法 有 很 多 种 ,其 中 常用 的 有 如 下 两 种 : 
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1. Zadeh 表示 法 
该 表示 法 的 根据 是 Zadeh 教授 对 模糊 集合 的 定义 。 当 论 域 U 为 离散 集合 时 ,一 个 模 
糊 集 合 可 以 表示 为 : 


Cu) 
Aaa mae (3. 2) 
T uev Y 
当 论 域 U 为 连续 集合 时 ,一 个 模糊 集合 A 可 以 表示 为 : 
Cu) 
A =Í 一 一 (3. 3) 


需要 注意 的 是 ,这 里 仅仅 是 借用 了 求 和 与 积分 的 符号 ,并 不 表示 求 和 或 积分 。 

2. 序 对 表示 法 

对 于 一 个 模糊 集合 来 说 ,如 果 给 出 了 论 域 上 所 有 元 素 对 其 隶属 度 ,就 等 于 表示 出 了 该 
集合 。 在 这 种 思想 的 指导 下 ,可 以 用 序 对 表示 法 来 表示 模糊 集合 A。 

A = { (usya (u)) | u E U} (3. 4) 

其 中 , 序 对 (xpa(z)) 由 论 域 中 的 一 个 元 素 u WR 对 模糊 集合 A 的 隶属 度 构 成 。 

下 面 通过 具体 例子 说 明 这 种 模糊 集合 。 

例 3.1 在 考核 中 ,学 生 的 绩 点 为 L0,5] 区 间 上 的 实数 。 按 照常 识 , 绩 点 在 3 以 下 显 


然 不 属于 “优秀 ”, 绩 点 在 4.5 以 上 则 显然 属 
于 “优秀 ”, 这 是 没有 问题 的 。 然 而 , 绩 点 为 | 
4.4 时 该 怎么 算 呢 ?这 个 成 绩 很 接近 4. 5， 0.8 
如 果 和 绩 点 为 3 一 样 ,都 不 属于 “优秀 ”, 未 党 06 
免 对 绩 点 为 4. 4 的 同学 太 不 公平 。 有 了 模 kos 
糊 集 合 这 个 工具 ,在 3 一 4.5 之 间 就 可 以 认 


为 是 一 个 “灰色 地 带 ”, 其 间 的 成 绩 在 一 定 程 
度 上 属于 “优秀 ”这 个 模糊 集 。 假 设 各 绩 点 00 
对 “优秀 ”的 隶属 度 可 以 用 如 图 3. 3 所 示 的 Eo a s 
曲线 表示 : 六 

在 这 个 例子 中 , 设 模糊 集合 “优秀 ”为 MES AER N AE 
A, 则 隶属 度 函 数 pea OH: 


0 0 三 uu 二 3 
mau) = 1 u—2 3<u<t.5 (3. 5) 
1 4.5<u<5 
此 处 的 论 域 是 连续 的 ,模糊 集合 A 用 Zadeh 表示 法 可 以 表示 为 : 
2 


gue 


= sd 
A 加 _ u +| u +] coc 
用 序 对 表示 法 可 以 表示 为 : 


(3. 6) 
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A ={(u,0) | 0<u<apt{(u-gu—2))3<u<45l 


+ {(u,l) |4.5<u<5} (3.7) 

这 样 ,对 于 一 个 绩 点 为 4.4 的 学 生来 说 ,尽管 他 的 成 绩 没 有 达到 4. 5, 对 “优秀 ”的 隶 
属 度 小 于 1, 但 他 对 “优秀 ”这 个 模糊 集 的 隶属 度 约 为 0. 93 ,而 非 完 全 被 排除 在 “优秀 ? 
之 外 。 

对 于 模糊 集合 来 说 ,隶属 度 孔 数 非常 重要 。 一 个 模糊 集合 可 以 被 其 隶属 度 函 数 唯 一 
定义 。 在 上 面 的 例子 中 ,隶属 度 函 数 是 一 个 分 段 函 数 ,每 一 段 都 是 线性 的 。 

事实 上 ,常用 隶属 度 艺 数 的 形式 有 很 多 种 ,如 图 3.4 Pas AI = fh JE PR. BBE PRK 
sigmoid 困 数 等 。 当 隶属 度 困 数 有 奋 干 点 取 值 为 1, 其 余 点 取 值 为 0 时 ,该 函数 对 应 的 模 
糊 集合 可 以 看 作 一 个 经 典 集 合 。 


1.0 
0.8 
Ex 0.6 
WE 
the 0.4 
0.2 
a 0 5 10 15 20 l 0 5 10 15 20 
输入 输入 
(a) 三 角形 函数 (b) 梯形 函数 
1.0 
0.8 
Èx 0.6 
IE 
i 0.4 
0.2 
0.0 = 
0 5 10 15 20 
输入 
(c) sigmoid KRI 


3.4 隶属 度 函 数 举例 


在 不 同 的 具体 问题 中 ,往往 需要 选择 不 同 的 隶属 度 困 数 ,对 隶属 度 困 数 的 选择 通 第 依 
赖 相关 领域 的 专家 知识 。 


3.2.2 模糊 集合 上 的 运算 


模糊 集合 的 子 集 可 以 这 样 定义 : 
定义 3.2 SAMS MICMU ETE RK u, BA ya (Ww) Spyz (a). WRI EEA A 
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是 模糊 集合 B 的 子 集 。 
古典 集合 定义 有 交 、 并 、 补 等 运算 。 在 模糊 集合 上 , 交 、 并 、 补 等 运算 也 被 定义 。 设 
A.B 是 论 域 U 上 的 模糊 集合 , 则 
交 运 算 : 
Hane (wu) = min {pa (a) ,pp (u)? (3. 8) 
并 运算 
paCu) = max {ya(u) ,pp (u)} (3. 9) 
补 运算 : 
Ha Cu) = 1— palu) (3. 10) 
上 述 模糊 集合 上 的 运算 的 定义 都 是 目前 广泛 认可 的 形式 ,但 这 些 定 义 并 非 唯一 。 不 
同文 献 中 可 能 存在 对 相同 名 称 运 算 的 不 同 定 义 , 这 是 需要 注意 的 。 
不 难 发 现 , 这 些 定义 在 模糊 集合 上 的 运算 也 满足 一 系列 定律 : 
ter AE : 
AUA=A, ANA=A (3.41) 
交换 律 : 
ANB=BNA, AUB=BUA Cal 
结合 律 
(AUB)UC=AU(BUO) (3.13) 
(ANB) NC=AN BNO 
分 配 律 : 
Af)\(BUQ)=(AN BY) UANC) (3.14) 
AU(BNO=(AUB)N(AUO) 
吸收 律 : 
AN(AUB)=A, AU(ANB)=A a 
两 极 律 : 
4nu-4，4UU-4 an 
AN@=9, AUD=0 
复原 律 E 
A=A (3.17) 
HE AR IE 
AUB=ANB, ANMB=AUB (3, 18) 


以 上 是 模糊 集合 上 的 运算 定律 ,上 古典 集合 上 也 存在 相应 的 定律 。 然 而 ,古典 集合 上 成 


立 的 矛盾 律 和 排 中 律 对 于 模糊 集合 不 再 成 立 。 
3.2.3 BRE 4 


模糊 集合 理论 中 , 论 域 中 的 一 个 元 素 不 再 只 有 属于 集合 A 和 不 属于 集合 A 两 种 情 
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况 。 类 似 的 模糊 理论 也 可 以 用 于 扩展 经 典 迎 辑 。 经 典 多 辑 是 二 值 迎 辑 , 其 中 一 个 变 元 只 
AE” AAE” a 和 0) 两 种 取 值 ,其 间 不 存在 任何 第 三 值 。 波 兰 逻 辑 学 家 J. Lukasiewicz 
第 一 次 提出 了 多 值 馆 辑 , 然 而 ,Lukasiewicz 提出 的 这 种 三 值 逻 辑 中 ,命题 取 值 是 离散 并 界 
限 分 明 的 ,依旧 诉 诸 精确 性 ,难以 体现 亦 此 亦 彼 的 模糊 性 。 模 糊 迎 辑 也 属于 一 种 多 值 迎 
辑 ,在 模糊 逻辑 中 , 变 元 的 值 可 以 是 L0,1] 区 间 上 的 任意 实数 。 

设 P.Q 为 两 个 变 元 ,模糊 逻辑 的 基本 运算 定义 如 下 : 


(1) 补 运 算 : P=1-—P (3.19) 
(2) 2018 FF : P AQ=min (P,Q) (3. 20) 
(3) 并 运算 : PVQ=max (P,Q) (3. 21) 
(4) AR: P>Q=((1—P) VQ) (3. 22) 
(5) 等 价 : PQ=(P>Q) A(Q>P) (3. 23) 
根据 如 上 定义 ,可 得 模糊 逻辑 运算 定律 如 下 : 
(1) FIP: 
PVP=P (3. 24) 
PAP=P 
(2) 交换 律 : 
PVQ=QVP (3. 25) 
PAQ=QAP 
(3) 结合 律 : 
PV(QVR)=(PVQVP (3. 26) 
PA(QAR)=(PAQ AP 
(4) 吸收 律 : 
PV(PAQ)=P (3 27) 
PA(PVQ)=P 
(5) 分 配 律 : 
PV (QAR)=(PVQ) A(PVR) (3. 28) 


PA(QVR)=(PAQ) V(PAR) 
(6) 双重 否定 律 


P=P (3. 29) 
(7) ERIE: 
PVQ=PAQ (3. 30) 
PAQ=PVQ 
(8) 第 数 法 则 : 
1VP=1 0VP=P (3.31) 


1AP=P 0AP=0 
这 些 基本 公式 可 以 用 于 模糊 敢 辑 函数 的 化 位 。 
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3.2.4 模糊 关系 及 其 合成 运算 


模糊 关系 可 以 看 作 经 典 逻 辑 关系 的 扩展 。 可 以 给 出 模糊 关系 的 定义 如 下 : 

定义 3.3 设 X 和 YY 是 两 个 经 典 集合 ,XXY 是 XX 与 Y 的 笛 卡 儿 乘 积 。 若 将 
XXxyY=({((Cz,y)|zEX,yEY} 看 作 退 化 的 模糊 集合 , 则 XXXxyY 上 的 模糊 关系 是 XXXY 的 
一 个 模糊 子 集 , 记 为 人 RR。 一 般 来 说 ,R ERRER RG, y REE X 上 元 素 z 与 Y 上 
元 素 y 关系 的 程度 。 

模糊 关系 也 是 一 种 模糊 集合 ,车 R(x,y) 取 值 为 0 或 1, 这 种 模糊 集合 就 等 同 于 经 典 
集合 ,模糊 关系 也 退化 为 经 典 关 系 的 形式 。 当 论 域 离散 且 有 限时 , 像 经 典 关 系 可 以 写成 矩 
阵 形 式 一 样 ,模糊 关系 也 可 以 写成 矩阵 形式 。 

经 典 关 系 可 以 认为 是 经 由 集合 之 间 的 一 种 映射 ,模糊 关系 也 是 模糊 集合 上 的 一 种 映 
射 。 像 经 典 关 系 一 样 ,模糊 关系 上 也 定义 了 映射 特有 的 合成 运算 。 

设 XYZ 为 论 域 ,R EX XY 上 的 模糊 关系 ,S 是 YXZ 上 的 模糊 关系 ,T 是 RR 到 
S 的 合成 , 记 为 T= 二 R。S, 其 隶属 度 函 数 定义 如 下 : 

AR。S( 并 之) pa Cur(asy) X psCysz)) (3.32) 

在 这 里 , V 表示 对 所 有 y 取 最 大 值 ,X 是 二 项 积 算 子 ,可 以 定义 为 取 最 小 值 或 者 代数 

积 等 。 在 不 同 的 问题 中 ,根据 具体 定义 的 不 同 ,模糊 关系 的 合成 运算 也 不 尽 相 同 。 


在 模糊 推理 系统 中 ,最 常用 的 合成 运算 是 最 大 一 最 小 合成 ,其 计算 公式 为 : 
R° S pps (x52) = a (min (ur (TY) susCysz))) (3.33) 


采用 这 种 合成 公式 的 推理 被 称 为 最 大 一 最 小 推理 。 
3.3 ”模糊 逻辑 推理 


模糊 推理 可 以 认为 是 一 种 不 精确 的 推理 ,是 通过 模糊 规则 将 给 定 输入 转化 为 输出 的 
过 程 。 本 方 主 要 介绍 模糊 推理 的 概念 、 方 法 ,并 通过 实例 说 明 模 糊 推理 的 过 程 。 本 市 需要 
FRAN: 

。 模糊 语言 变量 和 语言 算 子 的 概念 。 

。 模糊 规则 的 概念 。 

。 模糊 推理 的 概念 和 方法 。 


3.3.1 模糊 规则 .语言 变量 和 语言 算 子 


什么 是 模糊 推理 ? 什么 是 模糊 规则 ? 可 以 这 么 认为 ,模糊 推理 就 是 将 输入 的 模糊 集 
通过 模糊 逻辑 方法 对 应 到 特定 输出 模糊 集 的 计算 过 程 。 模 糊 规则 就 是 在 进行 模糊 推理 时 
依赖 的 规则 , 通 第 可 以 用 自然 语言 表述 。 其 形式 如 "如 果 张 三 比较 翌 , 则 张 三 需要 进行 较 
多 锻炼 ”。 

要 了 解 模 糊 规则 ,首先 要 了 解 儿 个 概念 。 

1. 语言 变量 


语言 变量 ,对 应 于 自然 语言 中 的 一 个 词 或 者 一 个 短语 、 句 子 。 它 的 取 值 就 是 模糊 集 
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Ro Zadeh 给 语言 变量 下 了 如 下 定义 : 

语言 变量 由 一 个 五 元 组 (4, Tu), U, G, M) 表 达 。 其 中 ,w 为 变量 名 ,如 “ 张 三 ”， 
吕 是 x 的 论 域 ,如 [20kg, 120kgj ,T(z) 是 语言 变量 取 值 的 集合 ,如 { 瘦 , 中 等 , 胖 ,…) ,而 
每 个 取 值 都 是 论 域 为 U 的 模糊 集合 ,G 为 语法 规则 ,M 为 语义 规则 ,用 以 产生 各 模糊 集合 
HISK JR BE PK Bi 

需要 注意 的 是 ,这 个 五 元 组 只 是 对 语言 中 可 研究 对 象 的 描述 ,对 于 不 同 领 域 的 不 同 具 
体 问 题 ,定义 语言 变量 的 标准 不 尽 相同 。 

2. 语言 算 子 

在 日 然 语 言 中 ,和 常 党 用 “可 能 ”“ 大 约 ”“ 比 较 ”“ 很 ”等 词语 来 进行 修饰 ,表示 可 能 性 、 
近似 性 和 程度 。 为 了 接近 日 然 语言 的 描述 习惯 ,更 方便 地 将 日 然 语 言 形 式 化 与 定量 化 , 语 
言 算 子 的 概念 被 引入 ,用 于 对 模糊 集 进 行 修饰 。 语 言 算 子 有 语气 算 子 、 模 糊 化 算 子 、 判 定 
算 子 。 这 里 主要 介绍 语气 算 子 。 

AAR WEG Ci TRF HM AC 代表 施加 了 语气 算 子 后 的 模糊 集合 。 语 气 算 子 
的 一 种 较 和 常用 的 定义 为 : 

当 太 为 “ 极 ” 时 ,HC 二 C*, 即 对 每 个 元 素 的 隶属 度 取 4 次 方 。 

4 五 为 “很 "时 ,有 HC 二 C?, 即 对 每 个 元 素 的 隶属 度 取 2 次 方 。 

当 五 为 “ 较 ” 时 ,有 HC 二 C*, 即 对 每 个 元 素 的 隶属 度 取 0. 5 次 方 。 

% H A” H, HCC” , 即 对 每 个 元 素 的 隶属 度 取 0. 25 次 方 。 

3.“ 如 果 一 则 ”规则 

“如 果 一 则 ”规则 Gf-then 规则 ) 是 一 种 包含 了 模糊 逻辑 的 条 件 陈 述 语句 。 基 础 的 “如 
采 一 则 ”规则 表述 如 下 : 

If x is A then y is B( 奉 xX 是 A, 那 么 y 是 B) 
其 中 , 设 A 的 论 域 是 U,B 的 论 域 是 V,A SB 均 是 语言 变量 的 具体 取 值 , 即 模糊 集合 ， 
cS yey. MMP xis A 又 称 前 件 ,y is B 又 称 后 件 。 在 规则 “如 采 张 三 比较 胖 
则 运动 量 比 较 大 ”中 ,zx 就 是 " 张 三 ”,y 为 “运动 量 ”,“ 比 较 胖 ”和 “比较 大 ”分 别 为 x 和 y 的 
取 值 之 一 。 

这 里 需要 注意 的 是 ,模糊 集合 A 与 B 之 间 的 关系 是 模糊 蕴含 关系 ,可 以 记 作 
A>BeA>BHAXB LMR KR, 其 定义 有 多 种 , 常见 的 两 种 是 最 小 运算 
R.(Mamdani) 和 积 运 算 R, (Larsen) ,如 式 (3. 34) 所 示 。 

R(x,y)=pa (rx) A pe ly) (3. 34) 
R,(2>y) =pa (ax) X psy) 


33.2 模糊 推理 
模糊 推理 是 通过 模糊 规则 将 输入 转化 为 输出 的 过 程 。 人 们 大 都 熟悉 这 样 一 种 三 


段 论 : 
大 前 提 : 所 有 的 独 都 有 尾巴 。 
小 前 提 : 花猫 是 狂 。 
结论 : 花猫 有 尾巴 。 
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模糊 推理 也 有 类 似 的 形式 ,但 与 经 典 人 逻辑 中 的 三 段 论 并 不 完全 相同 。 例 如 : 

大 前 提 ( 规 则 ): Har EAHA y EB, 

小 前 提 ( 输 入 ): FEC. 

结论 (输出 ): y 是 DD。 

可 以 注意 到 ,在 模糊 推理 中 ,小 前 提 没 有 必要 与 大 前 提 的 前 件 一 致 (A 与 C 不 必 完 全 
一 致 ) ,结论 没有 必要 与 大 前 提 的 后 件 一 致 (B 与 D 不 必 完 全 一 致 )。 这 可 以 认为 是 一 种 
不 精确 的 推理 。 

模糊 推理 中 ,大 前 提 就 是 模糊 规则 ,模糊 规则 中 的 A 和 B 都 是 语言 变量 的 取 值 , 即 模 
糊 集合 ,如 "优秀 2“ 瘦 ?等 ;小 前 提 是 模糊 推理 系统 的 输入 ,C 是 一 个 模糊 集合 (实际 应 用 
中 ,C 常常 是 硅 干 个 精确 输入 构成 的 经 典 集合 ,这 时 C 相当 于 奢 干 点 隶属 度 为 1、 其余 点 
隶属 度 为 0 的 特殊 模糊 集合 ); 结 论 中 D 就 是 模糊 推理 的 输出 ,这 个 输出 也 是 一 个 模糊 


Faa 
在 模糊 推理 中 ,关于 模糊 蕴含 的 推理 方式 有 两 种 ,一 种 是 肯定 式 的 推理 , 男 一 种 是 否 
定式 的 推理 ,如 表 3.2 所 示 。 下 文 将 主要 介绍 肯定 式 推理 。 


表 3.2 肯定 式 推理 与 否定 式 推理 


输入 (小 前 提 ) yy y is B' 
规则 (大 前 提 ) If z is A thenyisB If z is A then y is B 
输出 (结论 ) y is B’ x is A’ 


肯定 式 利用 输入 中 的 模糊 集合 AS ROM ZB KA R=A>BWA MITE SC B, e 
定式 则 根据 模糊 蕴含 关系 R= A>B 和 模糊 集合 B 的 合成 计算 A。 二 者 的 计算 公式 分 
BWA : 

B’=A’°R (肯定 式 ) 
A’=R°B ” (BÆR) 

上 式 中 的 合成 操作 有 不 同 的 定义 方法 ,最 常用 的 就 是 式 (3. 33) 中 的 最 大 一 最 小 合成 ， 
与 之 对 应 的 推理 过 程 为 最 大 一 最 小 推理 。 

下 面 通过 一 个 例子 说 明 模 糊 推理 的 过 程 ,为 方便 描述 ,例子 中 的 论 域 选 取 离散 论 域 。 

例 3.2 某 单位 工作 成 绩 评定 有 5 种 分 数 Ui 二 人 ,2,3,4,5) ,成 绩 的 取 值 范围 T CT 
作成 绩 ) 王 { 好 ,非常 好 ,比较 好 , 差 ,…}。 则 U 为 “好 ”“ 非 常 好 ”等 模糊 集合 的 论 域 ， 
Ti 为 模糊 规则 条 件 语句 中 语言 变量 “工作 成 绩 ” 的 取 值 范围 。 

该 单位 发 放 的 报酬 有 5 种 数额 ,Us 二 1100 元 ,200 元 ,500 元 ,800 元 ,1200 元 } ,报酬 
的 论 域 上 有 几 个 模糊 标记 ,T; (报酬 )== {高 ,非常 高 ,比较 高 , 低 ,…}), 则 U 为 模糊 集合 
“高 >“ 非常 高 ?等 的 论 域 ,T， 为 模糊 规则 结论 语句 中 语言 变量 “报酬 ”的 取 值 范围 。 

现 假设 模糊 集合 “好 ”=={(1,0),(2,0.2),(3,0.5),(4,0.8),(5,1)}, 写 成 矩阵 形式 为 
[0,0.2,0.5,0.8,1],“ 非 常 好 ”集合 每 个 元 素 的 隶属 度 是 “好 ”集合 中 相应 元 素 隶 属 度 的 二 
次 方 。 假 设 模 糊 集 合 “ 高 ”=={(100,0),(200,0.1),(500,0.5),(800,0.6),(900,1)), 写 成 
矩阵 形式 为 L0,0.1,0.5,0.6,1]。“ 非 常 高 ”集合 每 个 元 素 的 隶属 度 是 “高 ”集合 中 相应 元 


(3. 35) 
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素 隶 属 度 的 二 次 方 。 

定义 一 条 模糊 规则 : 若 工 作成 绩 为 "好 , 则 报酬 为 “高 >。 若 写 成 及 =A-~ 忆 的 形式 ， 
则 A 是 “好 ”,B 是“ 高?。 

KRH RER, 时 ,R(x,y) 二 pa (Xx)Apya(y), 这 条 规则 对 应 的 模糊 关系 矩阵 为 : 


0 0 0 0 0 
0 0.1 0.2 0.2 0.2 
R=A—>B=|0 0.1 0.5 0.5 0.5 (3. 36) 
0 0.1 0.5 0.6 0.8 
0 0.1 0.5 0.6 1 


下 面 应 用 以 上 规则 ,进行 最 大 一 最 小 模糊 推理 : 

当 4 一“ 好 ”, 即 输入 模糊 集合 “好 ?时 , 欲 得 到 输出 BY ,采用 公式 B, =A eR 进行 计算 : 

00 0 0 0 

0 0.1 0.2 0.2 0.2 

B =A’ °R=[0 0.2 0.5 0.8 1]°|10 0.1 0.5 0.5 0.5 

0 0.1 0.5 0.6 0.8 

0 0.1 0.5 0.6 1 
=[0 0.1 0.5 0.6 1] (3. 37) 


其 中 ,Bi 的 第 一 个 元 素 0 由 ((0A0)V (0.2A0)V(0.5A0)V (0.8A0)V CLA 0)) iF 
算得 到 ,其 余 依次 类 推 。 可 以 发 现 ,B' 就 是 模糊 集合 “高 ”。 

类 似 地 , 当 4 = 二 “非常 好 ”, 即 输入 模糊 集合 “非常 好 ”时 , 欲 得 到 输出 B', ,采用 公式 
B, =A °R 进行 计算 : 
0 0 0 0 
0.1 0.2 0.2 0.2 
0.1 0.5 0.5 0.5 
0.1 0.5 0.6 0.8 
0.1 0.5 0.6 1 

=[0 0.04 0.25 0.6 1] (3. 38) 

Bs 也 是 一 个 模糊 集合 ,可 以 发 现 ,“100 元 ”“200 元 ”和 “500 元 ”对 Bs 的 隶属 度 要 比 
对 Bi 的 隶属 度 低 , 即 在 工作 成 绩 为 “非常 好 ”的 情况 下 ,运用 本 例 中 给 出 的 规则 ,“100 元 ”、 
“200 元 ”和 “500 元 ”这 些 较 低 报酬 对 结论 模糊 集合 的 隶属 度 比 在 工作 成 绩 为 “好 ”的 情况 
下 低 , 这 是 符合 常识 的 。 

以 上 例子 中 采用 了 R=R,, 这 个 选择 不 是 唯一 的 ,在 不 同 的 问题 中 R 的 定义 可 能 不 
相同 。 


B,=A °- R= [0 0.04 0.25 0.64 1]° 


oe o O O © 


3.4 ”模糊 计算 的 流程 


在 实际 生活 中 ,常常 出 现 这 样 的 情况 : 工厂 里 的 师傅 将 多 年 的 经 验 总 结 成 许多 条 规 
则 ,如 “如 果 转 速 快 ,而 且 温 度 高 ,就 减少 加 热 时 间 ” 等 。 现 在, 要求 学徒 在 没有 现场 指导 的 
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情况 下 ,根据 这 些 经 验 规则 和 现场 观察 到 的 情况 ,决定 是 增加 还 是 减少 加 热 时 间 , 以 及 增 
加 或 减少 多 长 时 间 。 这 个 过 程 如 采 由 机 带 来 完成 ,就 是 一 种 模糊 计算 的 过 程 。 本 市 的 主 
要 内 容 为 介绍 模糊 计算 的 基本 流程 ,其 重点 包括 : 

。 模糊 计算 的 基本 思想 ; 

。 模糊 计算 的 基本 流程 ; 

。 模糊 计算 的 一 个 简单 实例 。 


341 基本 思想 


生活 中 经 常会 遇 到 这 样 的 情况 : 要 根据 几 个 变量 的 输入 ,以 及 一 组 模糊 表述 的 规则 ， 
来 决定 输出 。 如 在 灌溉 问题 中 ,要 根据 温度 、 湿 度 等 变量 决定 灌溉 时 间 的 多 少 。 这 个 决定 
灌溉 量 的 过 程 ,需要 依据 一 些 从 以 往 的 灌溉 中 得 到 的 经 验 。 这 些 经 验 往 往来 日 领域 内 专 
家 ,并 且 以 规则 的 形式 表述 ,例如 : 当 温 度 高 而 且 湿 度 小 的 时 候 , 灌 溉 时 间 为 长 。 

模糊 计算 涉及 的 就 是 依据 模糊 规则 ,从 几 个 控制 变量 的 输入 得 到 最 终 输 出 的 过 程 。 
这 个 过 程 可 以 细 分 为 4 个 模块 . 模糊 规则 库 .模糊 化 、 推 理 方法 和 去 模糊 化 。 

模糊 规则 库 是 专家 提供 的 模糊 规则 ,在 上 面 的 例子 里 ,模糊 规则 库 包 含 了 硅 干 条 类 似 
于 “ 当 温 度 高 而 且 温 度 小 的 时 候 , 灌 溉 时 间 为 长 ”的 陈述 。 模 糊 化 是 根据 隶属 度 图 数 从 具 
体 的 输入 得 到 对 模糊 集 隶 属 度 的 过 程 。 由 于 规则 是 由 模糊 的 目 然 语 言 表述 的 ,而 输入 是 
精确 数值 ,没有 模糊 化 的 过 程 ,规则 就 难以 被 应 用 。 推 理 方 法 是 从 模糊 规则 和 输入 对 相关 
模糊 集 的 隶属 度 得 到 模糊 结论 的 方法 。 去 模糊 化 就 是 将 模糊 结论 转化 为 具体 的 、 精 确 的 
输出 的 过 程 。 由 于 推理 结论 是 用 模糊 隶属 度 表示 的 ,没有 去 模糊 化 的 过 程 ,结论 就 无 法 被 


3.42 算法 流程 


下 面 以 一 个 简单 例子 来 说 明 模 糊 计算 的 流程 。 

例 3.3 某 上 自动 控制 系统 需要 根据 设备 内 温度 .设备 内 湿度 决定 设备 的 运转 时 间 。 
在 这 里 ,输入 变量 是 温度 和 湿度 ,输出 为 运转 时 间 。 

im FE AY 76 hE LOC, 100°C], 有 3 个 模糊 标记 : 低 、. 中 高。 湿度 的 论 域 是 
[0% , 60%]. A 3 个 模糊 标记 : 小 .中 大。 运转 时 间 的 论 域 是 L0s，1000s], 有 3 个 模糊 
标记 : 短 .中 长。 这些 模糊 标记 在 模糊 规则 中 被 使 用 。 输 入 变量 和 输出 变量 对 各 模糊 标 
iC AY SR JR BE PK ANAL 3. 5 所 示 。 


1.0 1.0 
0.8 0.8 
sy 0-6 a 0-8 
E lea 
$k 0.4 $è 0.4 
0.2 0.2 
9-00 20 40 60 80 100 aa 10 20 30 40 50 60 
温度 /C TE / % 


3.5 输入 变量 和 输出 变量 对 各 模糊 标记 的 隶属 度 函 数 
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专家 给 出 的 控制 规则 如 表 3. 3 所 示 。 
表 3.3 专家 提供 的 模糊 控制 规则 


现在 假设 该 系统 已 经 探知 相关 输入 变量 的 取 值 : 设备 内 温度 =64C ,设备 内 湿 
度 一 22% 。 
计算 输出 过 程 如 下 : 
1. 输入 变量 模糊 化 并 激活 相应 规则 
通过 隶属 度 图 数 进 行 计 算 , 可 以 得 到 该 温度 与 湿度 对 每 个 模糊 标记 的 隶属 度 , 如 
表 3.4 和 表 3.5 所 示 。 
表 3.4 输入 温度 的 隶属 度 表 3.5 输入 湿度 的 隶属 度 


由 于 温度 对 “ 低 ” 的 隶属 度 为 0, 而 湿度 对 “大 ”的 隶属 度 为 0, 故 控 制 规则 表 内 条 件 包 
含 低 温度 和 大 湿度 的 规则 不 被 激活 。 而 有 如 下 4 条 规则 被 激活 : 

(1) 硅 温 度 为 高 且 湿 度 为 小 , 则 运转 时 间 为 长 。 

(2) 大 温度 为 中 有 旦 湿度 为 中 , 则 运转 时 间 为 中 。 

(3) 硅 温 度 为 中 有 旦 湿度 为 小 , 则 运转 时 间 为 长 。 

(4) 奇 温度 为 高 且 湿 度 为 中 , 则 运转 时 间 为 中 。 

2. 计算 模糊 控制 规则 的 强度 

这 4 条 规则 中 ,前 件 被 满足 的 程度 越 高 ,规则 的 强度 就 越 大 ,对 输出 就 越 有 指导 作用 。 
以 规则 (1) 为 例 , 从 已 知 输入 看 ,温度 对 “高 ”的 隶属 度 为 0. 1, 而 湿度 对 “小 ”的 隶属 度 只 有 
0.075 ,可 见 这 条 规则 的 强度 不 大 。 

由 于 规则 条 件 中 连接 两 个 条 件 的 是 有 是 ”, 故 在 此 用 取 最 小 值 法 确定 4 条 规则 的 强度 : 

规则 (1): 温度 对 "高 ?隶属 度 为 0.1, 湿 度 对 "小 ?隶属 度 为 0.075,min(0.1,0.075) 王 0. 075。 

规则 (2): 温度 对 “中 ”隶属 度 为 0. 53, 湿 度 对 “中 ”隶属 度 为 0. 467, min (0. 53, 
0. 467)=0. 467. 

规则 (3): 温度 对 “中 ”隶属 度 为 0. 53 ,湿度 对 "小 ?隶属 度 为 0. 075, min(0. 53, 
0. 075) 一 0. 075. 

规则 (4): 温度 对 “高 ?隶属 度 为 0. 1 ,湿度 对 “中 ?隶属 度 为 0.467,min(0.1,0.467) 王 0. 1。 

3. 确定 模糊 输出 

规则 (1) 和 规则 (3) 的 结论 是 运转 时 间 为 长 ,规则 (2) 和 规则 (4) 的 结论 是 运转 时 间 为 
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中 。 故 运转 时 间 对 “长 ”的 隶属 度 是 规则 (1) 和 规则 (3) 强 度 较 大 者 0.075, 运 转 时 间 对 
“中 ”的 隶属 度 是 规则 (2) 和 规则 (4) 强 度 较 大 者 0. 467。 
，_ 2-075 X 1000 +0. 467 X 500 

0.075 + 0. 467 


以 上 例子 中 ,步骤 1 需要 从 具体 输入 得 到 对 模糊 集 的 隶属 度 ,并 激活 相关 模糊 规则 。 
从 具体 输入 得 到 对 模糊 集 隶 属 度 的 算 子 又 叫 模糊 化 算 子 。 

步骤 2 需要 利用 模糊 规则 进行 推理 得 出 结论 。 在 不 同 
的 问题 中 ,推理 方法 可 能 不 相同 。 以 上 例子 中 ,步骤 2 采用 
的 是 最 小 推理 , 即 取 条 件 中 隶属 度 的 最 小 值 , 这 是 一 种 简单 
算法 ,但 会 损失 精度 。 

步骤 3 需要 综合 步骤 2 中 的 结论 并 从 模糊 隶属 度 得 到 
实际 的 输出 仁 。 从 模糊 隶属 度 得 到 实际 输出 的 算 子 又 叫做 
去 模糊 化 算 子 。 去 模糊 化 的 方法 有 多 种 ,常用 的 有 重心 法 、 


= 569. 2(s) 


接受 输入 变量 
输入 变量 模糊 化 


利用 相关 模糊 规则 
获得 结论 


利用 结论 确定 实际 输出 |】 FARBAR. 
(去 模糊 化 ) 图 3.6 显示 了 模糊 计算 的 基本 流程 。 


本 节 的 例子 中 只 涉及 一 组 输入 。 当 涉及 多 组 输入 时 , 计 

量 常 常 较 大 。 在 处 理 简单 问题 时 ,可 以 预先 制作 好 控制 

表 , 使 用 时 查询 即 可 。 在 处 理 复杂 问题 时 ,控制 表 也 会 占用 

图 3 6 MOMS nage ge 过 多 的 空间 。 而 且 ,一 些 很 复杂 的 系统 往往 需要 专家 提供 很 

多 模糊 规则 ,造成 系统 设计 的 复杂 性 增加 。 为 解决 这 些 问 

题 ,可 以 将 模糊 计算 与 上 一 章 介绍 的 神经 网 络 的 学 习 能 力 结合 起 来 。 模 糊 计算 与 神经 网 
络 的 结合 将 在 下 一 节 中 进行 详细 介绍 。 


3.5 模糊 逻辑 的 应 用 


模糊 理论 被 提出 以 后 ,在 多 个 领域 得 到 了 应 用 。 由 于 模糊 逻辑 适合 描述 复杂 系统 与 
人 的 思维 ,其 潜力 不 容 忽 视 。 

首先 ,对 于 复杂 且 没 有 完整 数学 模型 的 非 线 性 问题 ,模糊 理论 提供 了 一 种 有 效 的 解决 
方案 , 即 在 不 知晓 具体 模型 的 情况 下 通过 经 验 规则 求解 。 

其 次 ,模糊 逻辑 与 其 他 计算 智能 算法 结合 后 ,能 够 实现 优势 互补 ,提供 了 将 人 类 在 识 
别 . 决策、 理解 等 方面 的 模糊 性 引入 机 和 需 及 其 控制 的 途径 。 这 种 混合 算法 在 许多 领域 已 经 


得 到 了 应 用 。 
1. 模糊 逻辑 与 神经 网 络 的 结合 与 应 用 
神经 网 络 是 一 种 模仿 生物 神经 系统 的 计算 智能 方法 ,是 生物 学 与 计算 机 科学 结合 的 


产物 。 模 糊 系 统 常常 与 神经 网 络 结合 ,用 于 解决 复杂 的 非 线 性 问题 。 
模糊 系统 与 神经 网 络 部 是 人 工 知 能 领域 的 重要 方法 ,二 者 之 间 存 在 理论 上 的 联系 。 
1993 年 ,Buckley 等 证 明了 模糊 专家 系统 与 前 馈 神 经 网 络 等 价 , 即 任 意 的 模糊 专家 系统 
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可 用 前 馈 神经 网 络 以 任意 精度 近似 表示 ,反之 亦 然 。2000 年 ,Li 等 号 证 明了 模糊 系统 与 
三 角 波 前 馈 神 经 网 络 等 价 , 并 证 明了 非 线 性 波 神经 网 络 可 以 用 三 角 波 神经 网 络 表示 ,进而 
得 出 模糊 系统 与 前 馈 神经 网 络 等 价 的 结论 。2005 Æ, Kolman 等 中 从 理论 上 证 明了 
Mandani 模型 的 模糊 系统 与 标准 前 馈 神 经 网 络 在 数学 上 等 价 。2008 年 ,Mantas %0 GE 
明了 基于 0 BY TSK 规则 的 模糊 系统 与 多 层 前 问 神 经 网 络 等 价 。 

然而 ,在 实际 应 用 中 ,神经 网 络 与 模糊 逻辑 有 一 些 重 要 区 别 。 例 如 ,模糊 系统 的 知识 
(规则 与 隶属 度 图 数 ) 是 预先 提供 的 、 显 性 的 ,其 来 源 是 相关 领域 专家 ,神经 网 络 的 知识 是 
通过 学 习 得 到 的 , 隐 含 在 网 络 结构 中 ,其 来 源 是 数据 。 表 3.6 显示 了 模糊 系统 与 神经 网 络 
的 区 别 和 联系 。 


表 3.6 模糊 系统 和 神经 网 络 的 区 别 与 联系 


TIL sama 


系 均 为 人 工 智 能 领域 的 重要 方法 ,是 模糊 系统 与 前 馈 神 经 网 
É 络 在 数学 上 等 价 


联 
知识 来 源 专家 提供 数据 
区 知识 表达 模糊 规则 和 隶属 度 图 数 网 络 结构 


当 规则 数目 过 大 时 ,由 专家 提供 模糊 系统 的 全 部 规则 变 得 不 具 可 操作 性 。 这 时 ,将 模糊 
系统 和 神经 网 络 结合 ,通过 神经 网 络 的 目 适 应 学 习 获 得 部 分 规则 ,不失为 一 种 解决 方法 。 

将 神经 网 络 与 模糊 系统 结合 的 工作 是 许多 研究 者 的 关注 点 。Lin 等 人 中 提出 了 一 种 
递归 模糊 细胞 神经 网 络 ,该 系统 能 够 同时 上 月 动 对 网 络 结构 和 参数 设置 进行 学 习 。Liu 等 
人 下 则 提出 了 一 种 三 层 前 馈 模糊 神经 网 络 的 学 习 算法 。 文 献 L10] 将 TSK 模糊 模型 与 小 
波 神 经 网 络 结合 ,提出 了 一 种 用 于 解决 预测 和 识别 问题 的 小 波 递归 模糊 神经 网 络 。 此 外 ， 
文献 L11j 提 出 了 一 种 用 于 解决 一 类 非 线 性 问题 的 日 组 织 神经 控制 方法 。 

模糊 系统 适合 于 描述 目 然 语言 写 人 类 思维 中 的 模糊 性 ,而 神经 网 络 具有 学习、 联想 、 
记忆 的 能 力 。 模 糊 系 统 与 神经 网 络 结合 ,实现 了 优势 互补 ,除了 神经 网 络 的 经 典 应 用 外 ， 
其 应 用 范围 已 涵盖 了 机 械 控制 .图 像 处 理 \ 电 力 系 统 等 领域 。 

分 类 和 聚 类 是 神经 网 络 的 经 典 应 用 。 分 类 解决 的 是 将 输入 数据 归 和 人 正确 类 别 的 问 
题 ,而 聚 类 问题 是 在 实现 不 知道 有 何 类 别 的 情况 下 将 数据 划分 为 奉 干 类 的 问题 。 文 献 
L13JL14j] 使 用 了 模糊 最 大 一 最 小 神经 网 络 解 决 这 两 类 经 典 问题 。 此 外 ,文献 L12j] 中 ,一 种 
模糊 神经 PID 控制 希 被 提出 。 该 控制 名 被 应 用 于 控制 交流 感应 驱动 船 速度。 文献 L15j 
中 ,一 种 结合 了 模糊 聚 类 技术 的 Hopfield 神经 网 络 被 用 于 医学 图 像 分 割 。 文 献 L16j] 中 ， 
一 种 解决 雷达 脉冲 压缩 问题 的 模糊 神经 网 络 被 提出 。 各 种 版 本 的 模糊 神经 网 络 还 被 应 用 
于 支持 多 媒体 服务 器 的 分 层 小 区 系统 资源 管理 "” .电力 市 场 短期 价格 预测 "5 、 电 网 故障 
Be FEO) PR Ath BH) 、 机 器 人 自 适 应 控制 温度 控制 、 合 成 口径 雷达 图 像 分 类 等 。 

此 外 ,模糊 神经 网 络 在 心理 学 .金融 系统 .语言 学 .生态 学 等 领域 也 已 经 得 到 了 应 用 ， 
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在 此 不 再 蒙 述 ,读者 可 以 自行 阅读 相关 材料 。 

2. 模糊 逻辑 与 进化 计算 的 结合 与 应 用 

进化 计算 算法 包括 遗传 算法 (Genetic Algorithm, GA) 、 尽 群 优化 算法 (Ant Colony 
Optimization, ACO) .粒子 群 优 化 算法 (Particle Swarm Optimization, PSO) 等 ,关于 这 些 
算法 将 会 在 后 面 的 章节 中 进行 详细 介绍 。 进 化 计算 算法 维护 一 个 种 群 , 在 解 空间 上 进行 
搜索 ,其 与 模糊 逻辑 的 结合 大 致 有 两 种 途径 : 一 种 是 在 进化 计算 算法 运行 时 使 用 模糊 控 
制 来 调整 群 智能 算法 的 参数 , 男 一 种 是 在 模糊 系统 中 用 进化 计算 算法 来 产生 、 挑 选 和 优化 
模糊 控制 规则 与 隶属 度 困 数 。 

众多 研究 表明 ,进化 计算 算法 的 参数 设置 往往 会 对 算法 表现 产生 较 大 的 影响 ,而 求解 
不 同 问题 或 同一 问题 的 不 同 阶 段 时 ,参数 的 最 优 设 置 常常 不 同 。 参 数 的 动态 自 适应 调整 
在 一 定 程度 上 解决 了 这 一 问题 ,而 模糊 逻辑 为 参数 调整 提供 了 一 种 重要 工具 。 如 文献 
[24j 提 出 了 一 种 利用 模糊 控制 动态 优化 遗传 算法 参数 的 算法 。 文 献 [L25 使 用 模糊 逻辑 对 
遗传 算法 的 变异 率 和 交叉 率 进 行 基 于 聚 类 的 自 适 应 调整 。 

传统 模糊 系统 的 模糊 规则 和 隶属 度 也 数 往往 由 专家 提供 , 当 系 统 非常 复杂 时 ,难以 保 
证 这 些 规则 和 隶属 度 孔 数 是 充足 、 有 效 且 低 消 耗 的 。 利 用 群 智能 算法 可 以 对 模糊 规则 进 
行 生成 .筛选 和 优化 。Chan 等 "站 提 出 了 一 种 使 用 稳 态 遗传 算法 产生 模糊 规则 的 方法 ,并 
应 用 于 雷达 目标 跟踪 问题 。Tang 等 中 则 使 用 一 种 分 层 遗 传 算法 选择 模糊 规则 库 的 最 优 
子 集 ,以 减少 模糊 系统 的 计算 消耗 。Leng 等 "中 设计 了 一 种 自 组织 的 模糊 神经 网 络 ,并 利 
用 一 种 基于 遗传 算法 的 方法 调整 包括 模糊 规则 数 在 内 的 参数 。Liu 等 " 引 设 计 了 一 种 基于 
语气 修饰 和 遗传 算法 的 模糊 逻辑 控制 右 , 用 以 化 简 隶 属 度 函数 和 模糊 规则 。 

目前 ,模糊 逻辑 与 进化 计算 算法 结合 ,已 经 被 应 用 于 项 目地 点 分 配 问题 雷达 目标 
跟踪 问题 2 等 许多 问题 中 。 


3.6 RS DA 


Tes Tet HT Be a eB Sj 28 ET AS) ST] o 

. AAT BRE BE AB A EE I A eB? 如 有 果 有 ,问题 在 哪里 ? 
. 例 3.2 中 ,车 A'==“ 比 较 好 ”, 请 计算 结论 。 

. 复述 例 3. 3 的 解决 流程 。 

. 通过 查阅 相关 参考 文献 , 了解 模糊 逻辑 在 各 个 领域 的 应 用 。 
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普通 高 校本 科 计 算 机 专业 


神奇 的 大 目 然 癌 我 们 展示 了 进化 的 
奇迹 。 在 上 自然 进化 这 个 魔术 棒 的 指挥 下 ， 
地 球 上 的 生物 从 低级 走 同 高 级 。 

优化 问题 求解 的 过 程 ， 能 否 借用 日 
然 进 化 这 文 麻木 棒 呢 ? 


Ae REN > 借鉴 目 然 进化 的 理念 ， 
问题 的 优化 过 程 可 以 看 成 类 似 于 生物 进化 
的 过 程 。 通 过 模拟 目 然 界 的 生物 进化 , 研 
究 者 提出 了 一 种 解决 优化 问题 的 创造 性 方 
法 ji fe EY (Genetic Algorithm, GA) 。 
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遗传 算法 是 计算 智能 领域 一 个 举足轻重 的 分 支 , 其 思想 源 于 生物 科学 的 进化 理论 和 
遗传 变异 理论 ,是 通过 模仿 自然 界 的 进化 活动 ,设计 出 能 够 有 效 解决 优化 问题 的 系统 
Pipi 

本 草 将 介绍 遗传 算法 的 相关 知识 ,包括 遗传 算法 的 基本 原理 、 人 研究 进展 、 基 本 流程 结 
构 以 及 算法 的 改进 和 应 用 。 通 过 本 草 的 详细 介绍 ,给 读者 展示 了 设计 和 使 用 遗传 算法 的 
基本 流程 和 基本 要 素 ,力求 使 读者 对 遗传 算法 有 一 个 初步 的 认识 和 理解 ,并 为 读者 进一步 
了 解 遗 传 算 法 提供 了 相关 的 参考 资料 。 本 草 的 主要 内 容 如 下 : 

。 遗传 算法 简介 :; 
遗传 算法 的 流程 ; 
遗传 算法 的 改进 ; 
遗传 算法 的 应 用 。 


4.1 遗传 算法 简介 


411 基本 原理 


遗传 算法 (Genetic Algorithm,GA) 是 由 美国 密 舱 根 (Michigan) 大 学 心理 学 教授 、 电 
子 工 程 学 和 计算 机 科学 教授 John H. Holland 首先 提出 的 一 种 随机 自 适 应 的 全 局 搜索 算 
法 中。 早 在 1962 年 ,Holland' 引 就 提出 了 关于 遗传 算法 的 基本 思想 。 之 后 ,相继 有 学 者 在 
相关 的 研究 成 果 中 提 到 了 遗传 算法 的 概念 “中, 例如 Holland 的 学 生 Bagley 于 1967 年 在 
他 的 博士 论文 中 中 第 一 次 采用 了 “遗传 算法 ”这 个 术语 。 但 遗传 算法 的 数学 框架 和 理论 基 
础 直到 20 世纪 70 AERA AIG EO. Holland 于 1975 年 在 其 专著 《自然 系统 和 人 工 
系统 的 自 适 应 性 》(“Adaptation in Nature and Artificial Systems”)[9 中 对 这 种 理论 方法 
进行 了 系统 且 详 细 的 论述 。 

遗传 算法 吸收 了 生命 科学 与 工程 学 科 中 的 重要 理论 成 果 , 用 于 解决 复杂 优化 问题 。 
其 中 ,达尔文 C(Darwin) 的 进化 理论 和 以 重 德尔 (Mendel) 的 遗传 学 说 为 基础 的 现代 遗传 学 
对 算法 的 提出 具有 最 为 重要 的 影响 。 

地 球 生 命 自 诞生 以 来 ,就 处 于 漫长 而 深远 的 进化 历程 ,经 历 了 从 低级 到 高 级 .从 单 
一 到 多 样 \ 从 简单 到 复杂 、 从 缺陷 到 完善 的 发 展 过 程 。 达 尔 文 的 进化 论 提 出 自然 界 “ 目 
然 选 择 ” 和 “优胜 劣 汰 ”的 进化 规律 。 图 4. 1 揭示 了 生物 的 进化 过 程 。 生 物 的 进化 过 程 
是 一 个 不 断 往 复 的 循环 过 程 。 在 每 个 循环 中 ,由 于 上 自然 环境 的 恶劣 .资源 的 短缺 和 天 
敌 的 侵害 等 因素 ,个 体 必 须 接 受 上 自然 的 选择 。 在 选择 过 程 中 ,一 部 分 对 自然 环境 具有 
较 高 适应 能 力 的 个 体 得 以 保存 下 来 形成 新 的 种 群 。 而 另 一 部 分 个 体 则 由 于 不 适应 自 
然 环 境 而 面临 被 淘汰 的 危险 。 经 过 选择 保存 下 来 的 群体 构成 种 群 ,种 群 中 的 生物 个 体 
进行 交配 繁衍 ,保证 了 种 群 的 发 展 。 交 配 产 生 的 子 代 继承 了 父 代 的 部 分 特性 ,而 且 一 
般 来 说 , 子 代 要 比 父 代 具有 更 强 的 环境 适应 能 力 。 进 化 过 程 华 随 着 种 群 的 变异 ,种群 
中 部 分 个 体 发 生 基因 变异 ,成 为 新 的 个 体 。 这 样 ,经 过 选择 、 交 配 和 变异 后 的 种 群 取代 
原来 的 群体 ,进入 下 一 个 进化 循环 。 
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4.1 生物 进化 过 程 


以 重 德尔 的 遗传 学 说 为 基础 的 现代 遗传 学 提出 了 遗传 信息 的 重组 模式 。 在 生物 体 的 
遗传 过 程 中 ,染色 体 是 遗传 信息 一 一 基因 的 载体 ,基因 在 染色 体 上 按照 一 定 的 次 序 组 合 。 
父 代 交配 产生 子 代 时 , 子 代 从 父 代 继承 的 遗传 基因 以 染色 体 的 形式 重新 组 合 , 子 代 的 性 状 
由 遗传 基因 决定 。 图 4. 2 简单 描述 了 遗传 基因 重组 的 过 程 。 


父 代 染 色 体 1 A :, F 父 代 染 色 体 2 
; : 
子 代 染 色 体 1 s 。 。 子 代 染色 体 2 


图 4.2 遗传 基因 重组 过 程 


来 源 于 生物 科学 的 这 两 个 重要 理论 ,为 Holland 寻求 有 效 方 法 研究 人 工 自 适应 系统 
提供 了 宝 贯 的 思想 源 果 。 在 前 人 运用 计算 机 进行 生物 模拟 的 基础 上 ,Holland 发 现 了 日 
然 界 的 生物 遗传 进化 系统 同人 工 自 适 应 系统 的 相似 性 ,成 功 地 建立 了 遗传 算法 的 模型 ,并 
对 遗传 算法 搜索 的 有 效 性 进行 了 理论 证 明 ""。 图 4. 3 揭示 了 遗传 算法 的 思想 来 源 及 建 

遗传 算法 正 是 通过 模拟 日 然 界 中 生物 的 遗传 进化 过 程 ,对 优化 问题 的 最 优 解 进行 搜 
索 。 算 法 维护 一 个 代表 问题 潜在 解 的 群体 ,对 于 群体 的 进化 ,算法 引入 了 类 似 自 然 进化 中 
一 次 迭代 相当 于 生物 进化 中 的 一 次 循环 ) ,直到 满足 算法 的 终止 条 件 为 止 。 

在 遗传 算法 中 ,问题 的 每 个 有 效 解 被 称 为 一 个 "染色体 (chromosome)”, 在 有 些 书籍 
中 也 称 为 “ 串 ”, 相 对 于 群体 中 的 每 个 生物 个 体 (individual)。 染 色 体 的 具体 形式 是 一 个 使 
用 特定 编码 方式 生成 的 编码 串 。 编 码 串 中 的 每 一 个 编码 单元 称 为 “基因 (gene)”。 


1962 年 Holland 提 出 遗传 算法 的 基本 思想 


1967 年 Holland 的 学 生 Bagley 第 一 次 


使 用 “ 送 传 算法 ”一 词 


( 生物 模拟 技术 20 世 纪 70 年 代 初 ，Holland 提 出 著名 的 模 


式 定 理 , 建 立 了 造 传 算法 的 理论 基础 


遗传 过 程 进 
行 模拟 


1975 年 Holand 发表 专 普 《 目 然 系统 和 人 工 


系统 的 目 适 应 性 》， 系统 地 论述 了 遗传 算法 


图 4.3 遗传 算法 思想 来 源 及 建立 过 程 


遗传 算法 通过 比较 适应 值 (fitness value) 区 分 染色 体 的 优 劣 ,适应 值 越 大 的 染色 体 越 
RE. Fih AH evaluation function) 用 来 计算 并 确定 染色 体 对 应 的 适应 值 。 

选择 算 子 (selection) 按 照 一 定 的 规则 对 群体 的 染色 体 进 行 选择 ,得 到 父 代 种 群 。 一 
般 地 , 越 优秀 的 染色 体 被 选中 的 次 数 越 多 。 

交配 算 子 (crossover) 作 用 于 每 两 个 成 功 交 配 的 染色 体 ,染色 体 交 换 各 自 的 部 分 基 
因 , 产 生 两 个 子 代 染 色 体 。 子 代 染 色 体 取代 父 代 染色 体 进 入 新 种 群 ,而 没有 交配 的 染色 体 
则 直接 进入 新 种 群 。 

变异 算 子 (mutation) 使 新 种 群 进行 小 概率 的 变异 。 染 色 体 发 生变 异 的 基因 改变 数 
值 ,得 到 新 的 染色 体 。 经 过 变异 的 新 种 群 蔡 代 原 有 和 群体 进入 下 一 次 进化 。 

表 4. 1 给 出 了 从 生物 遗传 进化 到 遗传 算法 各 个 基本 概念 的 对 照 。 


表 4.1 生物 遗传 进化 的 基本 生物 要 素 和 遗传 算法 的 基本 要 素 定义 对 照 表 


生物 遗传 进化 遗传 算法 
群体 问题 搜索 空间 的 一 组 有 效 解 (表现 为 群体 规模 N) 
种 群 经 过 选择 产生 的 新 群体 (规模 同样 为 N) 
染色 体 问题 有 效 解 的 编码 串 
基因 染色 体 的 一 个 编码 单元 
适应 能 力 染色 体 的 适应 值 
交配 两 个 染色 体 交 换 部 分 基因 得 到 两 个 新 的 子 代 染色 体 
变异 染色 体 某 些 基 因 的 数值 发 生 改 变 
进化 结束 算法 满足 终止 条 件 时 结束 ,输出 全 局 最 优 解 


对 于 遗传 算法 的 基本 原理 ,Holland 给 出 了 著名 的 模式 定理 (Schema Theory) ,为 遗 
传 算 法 提供 了 理论 支持 。 

模式 (schema) 是 指 群体 中 编码 的 某 些 位 置 具 有 相似 结构 的 染色 体 集合 。 假 设 染 色 
体 的 编码 是 由 0 或 1 组 成 的 二 进 制 符号 序列 ,模式 01xxx0 则 表示 以 01 开头 且 以 0 结尾 
的 编码 串 对 应 的 染色 体 的 集合 , 即 1010000,010010,010100,010110,011000,011010， 
011100,011110}。 模 式 中 具有 确定 取 值 的 基因 个 数 叫做 模式 的 阶 (schema order) ,如 模 
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式 01xxx0 的 阶 为 3。 模式 的 定义 长 度 (schema defining length) 是 指 模 式 中 第 一 个 具有 确 
定 取 值 的 基因 到 最 后 一 个 具有 确定 取 值 的 基因 的 距离 ,例如 模式 01xxx0 的 定义 长 度 为 
5 ,而 * 1xxxx 的 定义 长 度 为 0。 

Holland 的 模式 定理 提出 ,遗传 算法 的 实质 是 通过 选择 .交配 和 变异 算 子 对 模式 进行 
搜索 , 低 阶 .定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 的 模式 在 群体 中 的 比例 将 呈 
指数 级 增长 , 即 随 痢 进化 的 不 断 进行 , 较 优 染色 体 的 个 数 将 快速 增加 。 

模式 定理 证 明了 遗传 算法 寻求 全 局 最 优 解 的 可 能 性 ,但 不 能 保证 算法 一 定 能 找到 全 
amtii. Goldberg” E 1989 年 提出 了 积木 块 假设 (Building Block Hypothesis) ,对 模 
式 定 理 做 了 补充 ,说 明 遗 传 算 法 具有 能 够 找到 全 局 最 优 解 的 能 力 。 

积木 块 (building block) 是 指 低 阶 .定义 长 度 较 小 且 平 均 适 应 值 高 于 群体 平均 适应 值 
的 模式 。 积 木 块 假设 认为 在 遗传 算法 运行 过 程 中 ,积木 块 在 遗传 算 子 的 影响 下 能 够 相互 
结合 ,产生 新 的 更 加 优秀 的 积木 块 ,最终 接近 全 局 最 优 解 。 

目前 的 研究 还 不 能 够 对 积木 块 假设 是 否 成 立 给 出 一 个 严整 的 论断 和 证 明 , 但 是 大 量 
的 实验 和 应 用 为 积木 块 假设 提供 了 文 持 。 
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遗传 算法 的 提出 为 解决 复杂 优化 问题 提供 了 一 个 贺 新 而 有 效 的 思路 ,其 民 好 的 
搜索 能 力 和 较 强 的 健壮 性 受到 研究 学 者 的 广泛 认同 。 目 遗传 算法 提出 以 来 , 越 来 越 
多 的 学 者 投入 到 遗传 算法 的 研究 行列 。 与 此 同时 ,遗传 算法 被 成 功 地 应 用 于 各 种 不 
同 的 领域 ,为 解决 复杂 的 专门 领域 问题 提供 了 有 效 的 方法 I。 这 些 均 促进 了 遗传 
算法 的 发 展 ,不 断 扩 大 其 影响 力 。 图 4.4 给 出 了 对 遗传 算法 的 研究 内 容 和 人 研究 方 回 
的 总 结 。 

随 者 越 来 越 多 人 研究 学 者 的 参与 以 及 大 量 人 研究 成 果 的 产生 ,遗传 算法 的 理论 人 研究 正 以 
较 快 的 步伐 回 前 迈进 。 可 以 说 ,20 世纪 80 年 代 以 来 是 遗传 算法 快速 发 展 的 上 升 期 。 在 
此 期 间 , 有 关 遗 传 算法 的 学 术 活 动 日 益 医 支 。 每 年 以 遗传 算法 为 主题 或 与 其 相关 的 众多 
国际 会 议 在 世界 各 地 定期 召开 ,并 受到 越 来 越 广泛 的 关注 。 其 中 比较 知名 的 国际 会 议 有 : 
A 1985 年 开始 每 两 年 召开 一 届 的 美国 密 欣 根 大 学 国际 遗传 算法 会 议 (International 
Conference on Genetic Algorithms, ICGA)、 遗传 进化 计算 会 议 (ACM Genetic and 
Evolutionary Computation Conference, GECCO)、 进 化 计算 会 议 (IEEE International 
Conference on Evolutionary Computations, IEEE CEC) 遗传 算法 与 分 类 系统 人 研讨 会 
(Workshop on Foundations of Genetic Algorithms and Classifier Systems. FOGA/CS) , 
遗传 程序 设计 会 议 (Genetic Programming Conference, GPC) ,国际 人 工 生 命 学 术 讨 论 会 
(International Workshop on Artificial Life)、 进 化 规划 年 会 (Annual Conference on 
Evolutionary Programming) 、 国 际 进化 算法 前 沿 学 术 讨 论 会 (International Workshop on 
Frontiers in Evolutionary Algorithms, FEA), E Pr A iE M ír H ME N (International 
Conference on Simulation of Adaptive Behavior)、 借 助 自然 的 并 行 问 题 求解 国际 会 议 


(International Conference on Parallel Problem Solving from Nature,PPSN ) 。 


a 
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算法 的 性 能 研究 包括 对 遗传 算法 的 性 能 分 
析 和 改进 。 研 究 算法 主要 控制 参数 (如 群 
体 规模 、 交 配 概率 、 变 异 概率 ) 、 染 色 体 
编码 方式 以 及 各 类 算 子 操作 , 寻求 更 好 的 
改进 方法 ， 提 高 算法 的 搜索 性 能 


希望 通过 理论 研究 和 实 
一 外 验 分 析 ,提高 算法 的 求 
解 性 能 


算法 性 能 研究 六》 


研究 如 何 将 遗传 算法 和 其 他 优化 搜索 算法 如 希望 通过 研究 混合 算 
息 山 法 、 贪 禁 法 、 模 拟 退 火 算 法 等 结合 , 改 (Ly 法 ,提高 算法 的 搜索 
善 遗 传 算法 的 性 能 性 能 


随 着 大 规模 并 行 计算 机 的 问世 ,并行 计算 成 希望 通过 研究 ， 提 高 遗 


为 现代 计算 机 科学 的 重大 发 展 方向 HES | | 传 算法 的 计算 性 能 和 运 
并 行 算法 研究 O 法 自身 具备 的 并 行 性 适应 这 种 发 展 趋势 * 通 “上 行 效 对 适应 并 行 计算 

过 人 研究 实现 遗传 算法 的 并 行 计 算 , 可 以 有 效 的 发 展 趋势 ， 

地 提高 算法 的 运行 效率 


遗传 算法 最 初 是 用 于 设计 人 工 自 适应 系统 的 。 

自 提出 以 来 ， 算 法 的 应 用 范围 被 侠 速 地 拓宽 。 

目前 对 遗传 算法 应 用 的 研究 是 一 个 热门 的 

宛 信 域名 种 研究 相继 出 更， | | 
DEAM KE . HA [ IA Te PT A | 
算法 应 用 于 函数 优化 人 全 大 的 各 | 
(2) 算 法 应 用 于 机 器 学 习 的 分 类 系统 和 神经 网 用 性 

络 的 研究 : 


G) 算 法 应 用 于 图 像 处 理 和 模式 识别 的 研究 ， 


4.4 遗传 算法 的 研究 内 容 和 研究 方向 的 总 结 


同时 ,有 关 遗 传 算法 人 猎 究 和 应 用 的 学 术 文 草 也 日 益 受 到 一 些 国际 性 期 刊 的 关注 ,在 这 
些 期 刊 和 国际 会 议论 文集 中 越 来 越 多 地 出 现 遗 传 算法 的 相关 文章 “"。 国 际 期 刊 
《Evolutionary Computation》 和 《IEEE Transactions on Evolutionary Computation) fy i 
生 也 宣示 看 人 们 对 遗传 算法 的 重视 和 广泛 关注 。 
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42.1 流程 结构 


本 市 详细 介绍 遗传 算法 的 基本 流程 ,通过 算法 的 流程 结构 ,我 们 可 以 对 遗传 算法 的 运 
行 机制 有 一 个 清晰 的 认识 。 

遗传 算法 的 实现 主要 包含 了 以 下 七 个 重要 问题 : 

。 染色 体 的 编码 ; 

。 群体 的 初始 化 ; 

。 适应 值 评价 ; 


RAR TARA 
。 选择 种 群 ; 
。 Bh HEC AC ; 
。 PIRES; 
。 算法 流程 。 


这 几 个 问题 尤其 是 选择 算 子 .交配 算 子 和 变异 算 子 的 具体 实现 与 算法 搜索 全 局 最 
优 解 的 效果 息息相关 。 在 处 理 不 同 优 化 问题 时 ,以 上 几 个 方面 可 能 需要 根据 问题 的 特 
定 情况 采用 不 同 的 方法 实现 ,以 提高 遗传 算法 的 性 能 。 为 达到 初步 了 解 遗 传 算 法 设计 
和 使 用 方法 的 目的 ,在 本 节 接 下 来 的 内 容 中 ,我 们 暂 不 对 每 个 算 子 目前 可 用 的 方法 一 
一 作 完 整 且 详细 的 介绍 ,而 是 对 遗传 算法 实现 的 每 个 关键 步骤 给 出 一 个 或 几 个 常用 的 
解决 方法 。 

1. 染色 体 编码 

应 用 遗传 算法 ,需要 解决 问题 解 的 表示 , 即 染色 体 的 编码 方式 。 染 色 体 编码 方式 确定 
是 否 得 当 会 对 接 下 来 染色 体 的 交配 和 变异 操作 构成 影响 。 因 此 ,在 解决 一 个 特定 的 问题 
时 ,我 们 和 希望 找到 一 种 既 简 单 又 不 影响 算法 性 能 的 编码 方式 。 目 前 关于 这 部 分 的 理论 研 
究 和 应 用 探索 尚未 给 出 一 种 完整 是 有效 、 放 之 四 海 而 皆 准 的 遗传 算法 编码 理论 和 方案 。 
虽然 De Jong 曾经 在 他 的 研究 成 果 站 中 给 出 关于 确定 遗传 算法 染色 体 编码 方式 的 两 条 指 
叶 原 则 一 一 有 意义 积木 块 编码 原则 和 最 小 字符 集 编码 原 则 ,倡导 算法 使 用 的 编码 方案 应 
易于 产生 低 阶 旦 定义 长 度 较 短 的 模式 ,在 能 够 上 自然 描述 所 求 问 题 的 前 提 下 使 用 最 小 编码 
字符 集 , 但 是 在 具体 的 应 用 过 程 中 ,该 指导 原则 依然 无 法 完全 适用 于 全 部 问题 。 在 使 用 遗 
传 算 法 解决 具体 问题 的 时 候 , 采 用 何 种 编码 方案 并 不 是 一 概 而 论 的 ,而 应 该 尽量 分 析 问 题 
的 特点 ,制定 可 行 的 编码 方案 ,同时 也 可 借鉴 运用 遗传 算法 已 成 功 求解 的 类 似 问 题 的 编码 
先例 。 

目前 用 于 染色 体 编码 的 方法 有 格雷 码 编 码 、. 字母 编码 .多 参数 交叉 编码 等 。 在 这 里 ， 
我 们 仅 给 出 两 种 第 用 的 较 简 单 的 编码 方法 : 二 进 制 编码 方法 (Binary Representation) All 
浮 点 数 编 码 方法 (Float Point Representation)” 。 

二 进 制 编码 方法 产生 的 染色 体 是 一 表 4.2 染色 体 的 二 进 制 编 码 方法 
个 二 进 制 符号 序列 ,染色体 的 每 一 个 基 ”二 进 制 符号 串 对 应 的 实际 取 值 
因 只 能 取 值 0 或 1。 假定 问题 定义 的 有 0000.…0000 
效 解 取 值 空间 为 [LU ,U。.]2 ,其 中 了 1111…1111 
为 有 效 解 的 变量 维 数 ,使 用 工 位 二 进 制 
符号 串 表 示 解 的 一 维 变 量 , 则 我 们 可 以 
得 到 如 表 4. 2 所 示 的 编码 方式 : 

举 一 个 简单 的 例子 ,假设 [Ui, ,Us ] 为 [1, 64], 采 用 6 位 二 进 制 符号 串 进行 编码 , 则 
某 个 二 进 制 符 号 串 010101 代表 了 数值 22。 

因此 采用 工 位 进行 编码 时 的 精度 为 一 竺 一 - 呈 , 可 见 该 种 方法 在 编码 的 精度 方面 是 
较 差 的 。 当 要 求 采用 较 高 的 精度 或 表示 较 大 范围 的 数 时 ,必须 通过 增加 工 来 达到 要 
求 。 可 是 当 工 变 得 很 大 时 ,将 急剧 增加 算法 操作 的 复杂 度 。 所 以 二 进 制 编码 方法 虽然 
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符合 De Jong 提出 的 两 个 指导 原则 , 且 经 常 被 使 用 ,但 是 在 解决 某 些 精度 要 求 较 高 或 解 
含有 较 多 变量 的 优化 问题 时 ,人 们 却 不 得 不 寻求 男 外 一 种 更 好 的 编码 方法 ,如 浮 点 数 
编码 方法 。 

浮 点 数 编码 方法 中 ,染色体 的 长 度 等 于 问题 定义 的 解 的 变量 个 数 ,染色 体 的 每 一 个 基 
因 等 于 解 的 每 一 维 变 量 。 例 如 , 待 求 解 问题 的 一 个 有 效 解 为 X; 二 (zxl ,zx?,… ,zx? xP), 
其 中 D 为 解 的 变量 维 数 。 则 该 解 对 应 的 染色 体 编码 为 (zi ,xi ，… ,zx? xP) 

浮 点 数 编码 方法 适合 于 表示 取 值 范围 比较 大 的 数值 ,对 降低 采用 遗传 算法 对 染色 体 
进行 处 理 的 复杂 性 起 到 了 很 好 的 作用 。 

2. 群体 的 初始 化 

遗传 算法 在 一 个 给 定 的 初始 进化 群体 中 进行 迭代 搜索 。 一 般 情况 下 ,遗传 算法 在 群 
体 初始 化 阶段 采用 的 是 随机 数 初始 方法 。 采 用 生成 随机 数 的 方法 ,对 染色 体 的 每 一 维 变 
量 进行 初始 化 赋值 。 初 始 化 染色 体 时 必须 注意 染色 体 是 否 满 足 优化 问题 对 有 效 解 的 
定义 。 

如 果 在 进化 开始 时 保证 初始 群体 已 经 是 一 定 程度 上 的 优 恨 群体 的 话 ,将 能 够 有 效 提 
高 算法 找到 全 局 最 优 解 的 能 力 。 这 就 好 比 一 个 优良 的 物种 在 自然 进化 过 程 中 ,常常 占据 
有 利 的 位 置 , 且 保持 较 快 较 好 的 进化 程度 。 到 目前 为 止 ,已 有 部 分 学 者 尝试 在 保证 搜索 空 
间 完 备 性 的 基础 上 ,通过 某 种 方法 在 算法 的 开始 得 到 一 个 平均 适应 值 相对 较 高 的 初始 群 
体 再 进行 进化 来 提高 算法 的 求解 性 能 ,并 取得 了 一 定 的 成 效 。 

3. 适应 值 评价 

评估 函数 用 于 评估 各 个 染色 体 的 适应 值 ,进而 区 分 优 劣 。 评 佑 函数 常常 根据 问题 的 
优化 目标 来 确定 ,例如 在 求解 郴 数 优化 问题 时 ,问题 定义 的 目标 郴 数 可 以 作为 评估 函数 的 
原型 。 在 遗传 算法 中 ,规定 适应 值 越 大 的 染色 体 越 优 。 因 此 对 于 一 些 求解 最 大 值 的 数值 
优化 问题 ,我们 可 以 直接 套用 问题 定义 的 困 数 表达 式 。 但 是 对 于 其 他 优化 问题 ,问题 定义 
的 目标 函数 表达 式 必 须 经 过 一 定 的 变换 。 例 如 ,应 用 遗传 算法 求解 某 个 函数 的 最 小 值 ,可 
对 问题 定义 的 目标 函数 FCX) 进 行 以 下 变换 ,得 到 算法 的 评估 困 数 Eval (C): 

Eval (C) =— f(X) 

其 中 X 表示 一 个 有 效 解 ,C 表示 X 对 应 的 染色 体 。 


4. 选择 算 子 
种 群 的 选择 操作 使 用 轮 盘 赌 选择 算法 | 


传 算法 最 经 常 使 用 的 选择 算法 ,其 基本 思想 是 基 
于 概率 的 随机 选择 c 。 
轮 盘 赌 选择 算法 首先 根据 群体 中 每 个 染色 体 es | 
的 适应 值得 到 群体 所 有 染色 体 的 适应 值 总 和 ,并 
分 别 计算 每 个 染色 体 适应 值 与 群体 适应 值 总 和 的 
E P,; 其 次 假设 一 个 具有 N 个 扇 区 的 轮 盘 ,每 个 
肩 区 对 应 群体 中 的 一 个 染色 体 , 扇 区 的 大 小 与 对 
应 染色 体 的 P: 值 成 正比 关系 。 图 4.5 给 出 了 具 ”图 4.5 具有 4 个 扇 区 的 轮 盘 赌 模型 


(roulette wheel selection), #¢ fit FER EIR 
转动 方向 
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有 4 个 忆 区 的 轮 盘 赠 模 型 。 

每 选择 转动 一 次 轮 盘 , 轮 盘 转动 停止 时 指针 停留 的 悄 区 对 应 的 染色 体 即 被 选中 进入 
种 群 。 依 次 进行 N 次 选择 即 可 得 到 规模 同样 为 N 的 种 群 。 图 4. 6 是 用 来 模拟 轮 盘 一 次 
转动 的 程序 伪 代 码 。 


/* once of roulette wheel selection 
* 选中 的 染色 体 
关 / 
procedure RWS 
1 m0; 
2 r>Random(0,1); //0 至 1 的 随机 数 


3 for i=1 toN 
me mt P;; 
if r<=m 
return i; 
end if 
end for 
end procedure 


图 4.6 模拟 轮 盘 转动 的 程序 伪 代 码 


从 轮 盘 赌 选择 的 机 制 中 可 以 看 到 , 较 优 染色 体 的 已 值 较 大 ,被 选择 的 概率 就 相对 较 
大 。 但 由 于 选择 过 程 具有 随机 性 ,并 不 能 保证 每 次 选择 均 选 中 这 些 较 优 的 染色 体 , 因 此 也 
给 予 了 较 差 染色 体 一 定 的 生存 空间 。 

5. 交配 算 子 

在 染色 体 交 配 阶 段 ,每 个 染色 体能 否 进行 交配 由 交配 概率 P.( 一 般 取 值 为 0.4 一 0. 99 
之 间 ) 决 定 , 其 具体 过 程 为 : 对 于 每 个 染色 体 , 如 果 Random(0, 1) 小 于 P. 则 表示 该 染色 


体 可 进行 交配 操作 ,其 中 Random(0, 1) HLO, ”交配 位 置 

1] 间 均匀 分 布 的 随机 数 产 生 器 ,否则 染色 体 不 参 RHEL xy MD Xen Xe Xo 

与 交配 直接 复制 到 新 种 群 中 RN 
每 两 个 按照 P. 交配 概率 选择 出 来 的 染色 体 n 


进行 交配 ,经 过 交换 各 自 的 部 分 基因 ,产生 两 个 
新 的 子 代 染 色 体 。 其 具体 操作 是 随机 产生 一 个 FREE A % es 
有 效 的 交配 位 置 ,染色 体 交 换 位 于 该 交配 位 置 后 子 代 染色 体 2。 hN [Xo Xen Xp 
的 所 有 基因 。 图 4. 7 是 染色 体 交 配 示意 图 。 图 4.7 染色 休 交 配 示 意图 

交配 操作 应 该 注意 产生 的 子 代 染 色 体 应 满 
足 问题 对 有 效 解 的 定义 。 从 以 上 介绍 可 以 看 出 ,参与 交配 的 父 代 染 色 体 个 数 与 产生 的 子 
代 染 色 体 个 数 一 样 ,因此 新 种 群 的 规模 依然 为 N。 
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6. 变异 算 子 

染色 体 的 变异 作用 于 基因 之 上 ,对 于 交配 后 新 种 群 中 染色 体 的 每 一 位 基因 ,根据 变异 
概率 已 , 判断 该 基因 是 否 进 行 变 异 。 如 果 Random(0, 1) 小 于 Pm , 则 改变 该 基因 的 取 值 ， 
其 中 Razdoxm(C0，1) 为 L0,，1 间 均匀 分 布 的 随机 数 产 生 硕 ;否则 该 基因 不 发 生变 异 , 保 持 
不 变 。 图 4. 8 是 采用 二 进 制 编码 方式 的 染色 体 变 异 过 程 示 意图 ,其 中 黑色 箭头 所 指 位 置 
的 基因 发 生变 异 。 对 于 采用 浮 点 数 编码 形式 的 染色 体 奋 某 基 因 发 生变 异 , 则 可 使 用 前 面 
初始 群体 化 时 采用 的 随机 数 方法 随机 产生 一 个 满足 问题 定义 的 数值 取代 该 基因 现 有 
的 值 。 


I 


变异 
mime (oo 1 oo to io oF 


图 4.8 染色 体 变异 过 程 示 意图 


为 了 保持 遗传 算法 较 好 的 运行 性 能 ,变异 概率 Pn, 应 该 设置 在 一 个 合适 的 范围 。 变 
异 操作 通过 改变 原 有 染色 体 的 基因 ,在 提高 群体 多 样 性 方面 具有 明显 的 促进 作用 如 果 Pn 
过 小 ,算法 容易 早熟 。 但 是 在 算法 运行 的 过 程 中 ,已 找到 的 较 优 解 可 能 在 变异 过 程 中 章 到 
破坏 ,如 果 Pin 的 值 过 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原 来 较 差 的 
情况 。 因 此 ,我 们 应 该 将 种 群 的 变异 限制 在 一 定 范围 内 。 一 般 地 ,P,, 可 设 定 在 0. 001 一 
0. 1 之 间 。 

7. 算法 流程 

以 上 对 遗传 算法 各 个 重要 步骤 进行 了 详细 的 介绍 , 接 下 来 我 们 给 出 遗传 算法 的 基本 
步骤 : 

Step 1 初始 化 规模 为 N 的 群体 ,其 中 染色 体 每 个 基因 的 值 采 用 随机 数 产 生 器 生成 
并 满足 问题 定义 的 范围 。 当 前 进化 代数 Generation=0, 

Step 2 采用 评估 了 艺 数 对 群体 中 所 有 染色 体 进 行 评 价 , 分 别 计算 每 个 染色 体 的 适应 
值 ,保存 适应 值 最 大 的 染色 体 Best. 

Step 3 采用 轮 盘 赌 选择 算法 对 群体 的 染色 体 进 行 选择 操作 ,产生 规模 同样 为 NN 的 
种 群 。 

Step 4 按照 概率 P. 从 种 群 中 选择 染色 体 进 行 交 配 。 每 两 个 进行 交配 的 父 代 染色 
体 ,交换 部 分 基因 ,产生 两 个 新 的 子 代 染色 体 , 子 代 染 色 体 取代 父 代 染色 体 进 入 新 种 群 。 
没有 进行 交配 的 染色 体 直接 复制 进入 新 种 群 。 

Step 5 按照 概率 Ph 对 新 种 群 中 染色 体 的 基因 进行 变异 操作 。 发 生变 异 的 基因 数 
值 发 生 改 变 。 变 异 后 的 染色 体 取 代 原 有 染色 体 进 入 新 群体 ,未 发 生变 异 的 染色 体 直 接 进 
入 新 群体 。 
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Step 6 ”变异 后 的 新 群体 取代 原 有 和 群体 ,重新 计算 群体 中 各 个 染色 体 的 适应 值 。 倘 
各 群体 的 最 大 适应 值 大 于 Best 的 适应 值 , 则 以 该 最 大 适应 值 对 应 的 染色 体 蔡 代 Best. 

Step 7 ”当前 进化 代数 Generation 加 1。 如 果 Generation 超过 规定 的 最 大 进化 代数 
或 Best 达到 规定 的 误差 要 求 , 算 法 结束 ;否则 返回 Step 3。 

图 4. 9 给 出 了 遗传 算法 的 流程 图 和 程序 伪 代 码 。 


P 
P(t) 表 示 某 一 代 的 群体 ,t 为 当前 进化 代数 
ine Best 表示 目前 已 找到 的 最 优 解 


适应 值 评价 ， 你 存 最 优 染 色 体 


initialize(P(t)); // 初 始 化 群体 


evaluate (P(t)); // 适 应 值 评价 


keep best (P(t)); // 保 存 最 优 染 色 体 
while (不 满足 终止 条 件 ) do 


D 


P(t)< selection (P(t) ); // 选 择 算 子 
P(t) crossover (P(t) ) // 交 配 算 子 
P(t)< mutation(P(t) ) ; // 变 异 算 子 
itis 


变异 
grenpe 


重新 评价 适应 值 ， 更 新 最 优 染色 体 se ll AN 
evaluate (P(t)); 


if (P(t) 的 最 优 适 应 值 大 于 Best 的 适应 值 ) 
// 以 P(t) 的 最 优 染 色 体 替代 Best 


不 

一 满足 终止 条 件 replace (Best) ; 
= end if 
FE 


end 
pii 


4.9 遗传 算法 流程 图 和 程序 伪 代 码 


422 应 用 举例 
下 面 通过 一 个 简单 的 函数 优化 的 例子 ,说 明 遗 传 算法 的 执行 过 程 。 
. — 1 = oe 
例 4.1 E Al eR AC y= flay 943 Se ee TO. E E ps Bs EE ee 5 x Xe 9 站 3 9 


xs<5, 用 遗传 算法 求解 y 的 最 大 值 ,请 写 出 关键 的 执行 步骤 。 
解 : 使 用 遗传 算法 求解 例 4. 1 的 执行 步骤 如 图 4. 10 所 示 。 
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nd anne “oan 对 每 个 染色 体 生成 的 Jp 
假设 群体 规模 为 5 ; 使 用 浮 点 数 编码 方式 构造 染色 体 ， 即 每 个 染 | “| 假设 交配 概率 为 0.88 。 下面 是 对 每 个 染色 { [0,] 的 随 
FALL (x) ,x ,Xa ,4) 的 形式 表示 。 机 数 ， 决定 染色 体 是 否 参加 交配 。 


初始 化 群体 的 染色 体 ， 得 到 1 0.341044<0.88 参加 交配 
Ci=(-2.1351, 2.0917, -0.1327, -4.1006) 2 0.6137971<0.88 参加 交配 
C,=(1.0152, -3.9811, -2.6638, 3.7535) 0.963042>0.88 不 参加 交配 
C,=(4.0589, 2.1904, —0.1503, 0.0023) 4 0.347545<0.88 参加 交配 
C,~(—3.4098, -3.0714, -0.9008, —4.3712) 5 0.593677<0.88 参加 交配 
Cs=(0.2073, 2.9932, —4.0802, 1.8794) BIC 和 C; > Ci 和 Cs 进行 交配 , 每 对 染色 体 交 配 时 随机 生成 
0~3 之 间 的 自然 数 作 为 交配 位 。 以 下 是 各 对 染色 体 的 交配 位 
和 得 到 的 子 代 染色 体 。 
(1) Ci = (1.0152, -3.9811.-2.6638. 3.7535) 
步骤 2 : 适应 值 评 价 P 和 Cy = (4.0589, 2.1904, —0.1 503, 0.0023) 
选择 评估 函数 交配 位 为 1 子 代 染 色 体 为 : 
i a = (1.0152, -3.9811, -0.1503, 0.0023) 
a ae re 2 = (4.0589, 2.1904 , -2.6638, 3.7535) 
xp tag ts tx4+l Ci 0152, 3.9811, 2.6638, 3.7535) 
计算 每 个 染色 体 的 适应 值 如 下 : 和 C= (0.2073, 2.9932, —4.0802, 1.8794) 
Eval(C,) = f(-2.1351, 2.0917, 0.1327, -4.1006) = 0.0373603 交配 位 六 为 2: 子 代 染 色 体 为 : 
Eval(C,)} = f (1.0152, -3.9811, -2.6638, 3.7535) = 0.0255988 (1.0152, —3.9811, -2.6638, 1.8794) 
Eval(C,) = f (4.0589, 2.1904, -0.1503, 0.0023) = 0.0448529 cn (0.2073, 2.9932, 4.0802, 3.7535) 
Eval(C,) = f (3.4098, -3.0714, -0.9008, —4.3712) = 0.0238214 harm 后 的 新 种 群 为 : 
Eval(Cs) = f (0.2073, 2.9932, -4.0802, 1.8794) = 0.0331319 C= (1.0152, -3.9811, -0.1503, 0.0023) 
因此 Best=C,, Eval( Best) = 0.0448529 cin (4.0589, 2.1904, -2.6638, 3.7535) 
eg C!" = (1.0152, -3.9811. -2.6638, 3.7535) 
Crai. 0152, -3.981 1, -2.6638, 1.8794) 
Cs =(0. 2073, 2.9932, —4.0802, 3.7535) 


Eval(C = y =f (Xis Xo. X3, X4)= 


TARAR ERE. 计算 群体 适应 值 总 和 为 0.0373603+ 
0.0255988+0.0448529+0.0238214+0.0331319=0.164765 


分 别 计算 每 个 染色 体 适 应 值 同 群体 适应 值 总 和 的 比 : 


. 226749 步骤 5 ,变异 
— 假设 变异 概率 为 0.1 。 对 于 每 个 染色 体 的 每 个 基因 随机 生成 
ee [0.1] 的 随机 数 , 若 该 随机 数 小 于 0.1, 则 改变 基因 的 值 . 否则 不 


| pd 改变 基因 的 值 。 以 下 是 发 生变 异 的 染色 体 和 基因 改变 的 过 程 。 


下 面 是 5 次 选择 产生 的 [0 ,1 的 随机 数 和 选中 的 染色 体 : C?!" = (1.0152,—3.9811, -2.6638, 3.7535)— 

(1) 0.278756 G C3" = (3.0953, -3.981 1 , —2.6638, 3.7535) 

(2) 0.604389 C: Cy" = (1.0152, -3.9811, -2.6638, 1.8794)— 

(3) 0.230964 C C}"= (1.0152, 0.0153, —2.6638, 1.8794) 

(4) 0.376263 C, 

(5) 0.858791 故 得 到 的 新 群体 为 : 

因此 得 到 种 群 为: C)"= (1.0152,—3.9811,—0.1503, 0.0023) 
C}=(1.0152, -3.9811, -2.6638, 3.7535) an (4.0589, 2.1904, —2.6638, 3.7535) 

C= (4.0589, 2.1904, —0.1503, 0.0023) “= (3.0953, -—3.9811,—-2.6638, 3.7535) 

C3= (1.0152, -3.9811. —2.6638, 3.7535) ci (1.0152, 0.0153, -2.6638, 1.8794) 

C4 =(1.0152, -3.9811, -2.6638, 3.7535) C;"= (0.2073, 2.9932, —4.0802, 3.7535) 

Cs= (0.2073, 2.9932, 4.0802, 1.8794) 


DIEG: 重新 评价 染色 体 适 应 值 ， 更 新 Best V 
步骤 7 : 判断 结束 计算 每 个 染色 体 的 适应 值 如 下 : 
如 果 满 足 算法 终止 条 件 ， 则 输出 找到 的 最 优 和 解 Best Eval(C\") = f (1.0152, —3.9811, -0.1503, 0.0023) = 0.0558585 
并 退出 程序 ; 否则 返回 步骤 3 继续 执行 。 Eval(C»") = f (4.0589, 2.1904, -2.6638, 3.7535) = 0.0230112 
Eval(C;") = f (3.0953, —3.981 1, —2.6638, 3.7535) = 0.0210019 
EvatC = f (1.0152, 0.0153, -2.6638, 1.8794) = 0.0789962 
Eval(C;") = f (0.2073, 2.9932, -4.0802, 3.7535) = 0.0245465 

因为 Max(0.0558585, 0.0230112, 0.0210019, 0.0789962, 0.0245465)= 
0.0789962>Eval(Best) , HBR Best : 
Best = Cj". Eval(Best) = 0.0789962 。 


图 4. 10 使 用 遗传 算法 求解 例 4. 1 的 步 又 图 示 
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4.3 ”遗传 算法 的 改进 


遗传 算法 簿 单 、 可 操作 性 强 , 具 有 和 较 强 的 健壮 性 和 普 适 性 以 及 潜在 的 并 行 性 ,并 且 拥 
有 和 较 好 的 全 局 搜索 能 力 ,能 够 以 较 大 的 概率 得 到 全 局 最 优 解 ,因此 多 个 领域 的 复杂 问题 相 
继 采 用 了 迁 传 算法 进行 解决 ,进而 促进 了 遗传 算法 理论 研究 的 不 断 发展 。 遗 传 算法 从 提 
出 到 现在 不 过 几 十 年 的 时 间 ,成 功 的 应 用 案例 展示 了 其 作为 一 种 随机 全 局 搜索 算法 的 强 
大 优势 和 能 力 , 同 时 ,在 应 用 中 出 现 的 问题 也 暴露 了 现 有 遗传 算法 的 局 限 和 不 足 -24 。 
因此 ,大 量 的 对 算法 进行 改进 的 人 研究 活动 从 未 停止 过 ,人 们 一 直 致 力 于 提高 和 拓展 算法 的 
能 力 。 

在 本 方 中 , 我 们 将 从 以 下 几 个 重要 方面 阐述 关于 遗传 算法 的 改进 ,其 中 包括 算 子 的 选 
择 、 参 数 的 设置 混合 遗传 算法 和 并 行 遗传 算法 。 


43.1 算 子 选择 


首先 是 选择 操作 。 种 群 的 选择 是 遗传 算法 中 一 项 重要 的 操作 。 和 上 自然 选择 保存 下 来 的 
物种 决定 了 生物 的 进化 程度 。 同 样 地 ,选择 的 效率 如 何 , 即 是 否 能 够 保证 留 下 来 的 染色 体 
是 具有 进化 发 展 潜 力 的 染色 体 或 是 目前 较 好 的 染色 体 ,对 遗传 算法 的 性 能 具有 主要 的 决 
定 作 用 。 

在 4. 2 节 介 绍 的 遗传 算法 的 基本 流程 中 ,我 们 给 出 的 选择 算 子 是 基于 轮 盘 赌 选择 算 
法 的 。 轮 盘 赌 选择 算法 由 于 其 思想 简单 实现 容易 而 成 为 遗传 算法 最 第 用 的 选择 算 子 。 
从 轮 盘 赌 选择 的 实现 机 制 可 以 看 到 , 较 优 染色 体 的 己 值 较 大 ,被 选择 的 概率 相对 较 大 。 
同时 由 于 选择 的 随机 性 ,当前 较 差 的 染色 体 也 具有 一 定 的 生存 空间 。 这 正 是 人 们 倾向 于 
使 用 轮 盘 赌 选择 算法 的 原因 ,但 轮 盘 赌 选择 算法 并 不 是 一 种 完美 的 方法 。 随 机 地 选择 会 
导致 选择 误差 较 大 ,有 了 时候 可 能 选 不 上 适应 值 较 高 的 染色 体 。 

选择 算法 的 研究 一 直 是 改进 遗传 算法 的 重要 内 容 之 一 。 各 种 不 同 的 选择 算法 和 模型 
相继 推出 。 表 4. 3 给 出 了 几 种 较为 常见 的 选择 算法 模型 。 

表 4.3 遗传 算法 选择 模型 


适应 值 比例 模型 ( 轮 盘 赌 选择 ) Fitness Proportional Model [6] 
最 佳 个 体 保存 模型 Elitist Model [6] 
排挤 模型 Crowding Model [6] 
确定 性 采样 Deterministic Sampling [25] 
期 望 值 模型 Expected Value Model [25] 
无 回放 余数 随机 采样 Remainder Stochastic Sampling with Replacement [25 ] 
随机 锦标 赛 模 型 Stochastic Tournament Model [25] 


排序 模型 Rank-based Model [26 | 


其 次 是 交配 操作 。 在 4. 2 节 给 出 的 交配 规则 属于 单 点 交配 (One-point Crossover)! 。 
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随 着 对 遗传 算法 人 研究 的 深入 ,人 们 提出 了 一 些 其 他 的 交配 算 子 ,并 进行 了 大 量 的 改进 。 
表 4.4 给 出 了 这 些 由 型 的 交配 算 子 ,如 两 点 交配 (Two-point Crossover)、 多 点 交配 
(Multi-point Crossover), 49 5 3 M (Uniform Crossover )、 算 术 交 配 ( Arithmetic 
Crossover) 。 同 时 ,学 者 在 研究 遗传 算法 的 具体 应 用 时 ,针对 问题 和 具体 的 染色 体 编码 方 
式 开 发 出 了 许多 独特 的 较为 成 功 的 交配 算 子 ,这 些 交 配 算 子 同样 被 广泛 地 借鉴 和 应 用 。 
如 表 4. 4 所 示 ,针对 旅行 商 问 题 (Traveling Salesman Problem ,TSP) 问 题 基 于 路 径 表 示 
的 染色 体 编码 方法 ,Goldberg 等 人 中 在 1985 年 提出 部 分 匹配 交配 算 子 ,同一 年 Davis 等 
AM FE TU FR OE Be BF. Oliver AC 则 在 1987 年 提出 循环 交配 算 子 ,还 有 
Whitley! F 1989 年 给 出 的 边 重 组 交配 算 子 。Nagata Ail Kobayashi 提出 的 边 集合 交 
配 算 子 成 为 目前 用 于 TSP 的 极为 重要 的 交配 算 子 。 


表 4.4 遗传 算法 交配 算 子 


算 子 名 称 ( 中 文 ) 参考 文献 
多 点 交配 Multi-point Crossover C6] 
部 分 匹配 交配 算 子 Partially Matched Crossover, PMX [27] 
顺序 交配 算 子 Ordered Crossover, OX [28] 
循环 交配 算 子 Cycle Crossover,CX [29] 
边 重 组 交配 算 子 Edge Recombination ,ER [30] 
边 集 合 交 配 算 子 Edge Assembly Crossover, EAX [31] 
两 点 交配 Two-point Crossover [32] 
均匀 交配 Uniform Crossover [33] 
算术 交配 Arithmetic Crossover [34] 
单 性 孢子 交配 算 子 Partheno-Crossover [35] 


最 后 是 变异 操作 。 前 面 在 4. 2 节 所 涉及 的 二 进 制 编码 染色 体 和 浮 点 数 编 码 染 色 体 的 
变异 操作 分 别 属 于 简单 变异 (Simple Mutation)» 和 均匀 变异 (Uniform Mutation)» 。 
对 遗传 算法 的 改进 研究 同样 给 出 了 一 些 新 的 变异 算 子 ,如 表 4.5 所 示 。 


表 4.5 遗传 算法 变异 算 子 


边界 变异 Boundary Mutation [34 
高 斯 变异 Gaussian Mutation [34 ] 
非 均 匀 变 异 Non-uniform Mutation [36 ] 


43.2 参数 设置 


遗传 算法 涉及 的 主要 控制 参数 .有 群体 规模 N ,染色 体 的 长 度 工 ,基因 的 取 值 范 
围 尺 ,交配 概率 P, ,变异 概率 Pn ,适应 值 评价 ,终止 条 件 。 表 4. 6 将 这 些 参数 对 于 遗传 算 
法 的 意义 和 经 验 设 置 进 行 了 归纳 。 


群体 规模 N 


染色 体 的 长 度 工 


基因 的 取 值 范 
Fi] R 


交配 概率 P. 


变异 概率 Pn 


适应 值 评价 


终止 条 件 
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表 4.6 遗传 算法 参数 经 验 设置 


参考 设置 V 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


J 


es 


影响 算法 的 搜索 能 力 和 运行 效率 。 

若 六 设置 较 大 ,一 次 进化 所 覆盖 的 模式 较 多 ,可 以 保证 群体 的 多 样 性 ,从 而 提 
高 算法 的 搜索 能 力 , 但 是 由 于 群体 中 染色 体 的 个 数 较 多 ,势必 增加 算法 的 计算 
量 ,降低 了 算法 的 运行 效率 。 

若 N 设置 较 小 ,虽然 降低 了 计算 量 , 但 是 同时 降低 了 每 次 进化 中 群体 包含 更 
Ze BE Ye fe RAN AE TI 。 

N 的 设置 一 般 为 20 一 100。 


影响 算法 的 计算 量 和 交配 变异 操作 的 效果 。 

L 的 设置 跟 优 化 问题 密切 相关 ,一 般 由 问题 定义 的 解 的 形式 和 选择 的 编码 方 
法 决定 。 

对 于 二 进 制 编码 方法 ,染色 体 的 长 度 工 根据 解 的 取 值 范围 和 规定 精度 要 求 选 
择 大 小 。 

对 于 浮 点 数 编码 方法 ,染色体 的 长 度 工 跟 问题 定义 的 解 的 维 数 D 相同 。 

除了 染色 体 长 度 一 定 的 编码 方法 ,Goldberg 等 人 中 还 提出 了 一 种 变 长 度 染 色 
体 遗 传 算法 Messy GA ,其 染色 体 的 长 度 并 不 是 固定 的 。 


R 视 采 用 的 染色 体 编码 方案 而 定 。 
对 于 二 进 制 编码 方法 ,R= 二 (0,1}) ,而 对 于 浮 点 数 编码 方法 ,R 与 优化 问题 定义 
的 解 每 一 维 变量 的 取 值 范围 相同 。 


决定 了 进化 过 程 种 群 参 加 交配 的 染色 体 平均 数目 P. XN。 
P. 的 取 值 一 般 为 0.4 一 0. 99. 
也 可 采用 自 适应 的 方法 调整 算法 运行 过 程 中 的 P. Ao. 


增加 群体 进化 的 多 样 性 ,决定 了 进化 过 程 中 群体 发 生变 异 的 基因 平均 个 数 。 
P, 的 值 不 宜 过 大 。 因 为 变异 对 已 找到 的 较 优 解 具 有 一 定 的 破坏 作用 ,如 果 
Pn 的 值 太 大 ,可 能 会 导致 算法 目前 所 处 的 较 好 的 搜索 状态 倒退 回 原来 较 差 的 
情况 。 

P,, 的 取 值 一 般 为 0.001 一 0. 1 。 

也 可 采用 自 适 应 的 方法 调整 算法 运行 过 程 中 的 Pah fA". 


影响 算法 对 种 群 的 选择 ,恰当 的 评估 函数 应 该 能 够 对 染色 体 的 优 劣 做 出 合适 
的 区 分 ,保证 选择 机 制 的 有 效 性 ,从 而 提高 群体 的 进化 能 力 。 

评估 函数 的 设置 同 优化 问题 的 求解 目标 有 关 。 

评估 函数 应 满足 较 优 染色 体 的 适应 值 较 大 的 规定 。 

为 了 更 好 地 提高 选择 的 效能 ,可 以 对 评估 函数 做 出 一 定 的 修正 。 

目前 主要 的 评估 函数 修正 方法 有 : 

名 线性 变换 

a He EHR 

名 指数 变换 等 


决定 算法 何 时 停止 运行 ,输出 找到 的 最 优 解 。 

采用 何 种 终止 条 件 , 跟 具体 问题 的 应 用 有 关 。 

可 以 使 算法 在 达到 最 大 进化 代数 时 停止 ,最 大 进化 代数 一 般 可 设置 为 100 一 
1000 ,根据 具体 问题 可 对 该 建议 值 作 相应 的 修改 。 

也 可 以 通过 考察 找到 的 当前 最 优 解 的 情况 来 控制 算法 的 停止 。 例 如 , 当 目 前 
进化 过 程 算法 找到 的 最 优 解 达到 一 定 的 误差 要 求 , 则 算法 可 以 停止 。 误 差 范 
围 的 设置 同样 跟 具 体 的 优化 问题 相关 。 或 者 是 算法 在 持续 很 长 的 一 段 进 化 时 
间 内 所 找到 的 最 优 解 没 有 得 到 改善 时 ,算法 可 以 停止 。 
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43.3 混合 遗传 算法 


混合 遗传 算法 (Hybrid Genetic Algorithm, HGA) 是 将 遗传 算法 同 其 他 优化 算 
法 有 机 结合 的 混合 算法 ,目的 在 于 得 到 性 能 更 优 的 算法 ,提高 遗传 算法 求解 问题 的 
能 力 。 

提出 混合 遗传 算法 思想 的 主要 原因 有 二 : 一 是 遗传 算法 存在 局 部 搜索 能 力 较 弱 的 缺 
点 ,而 遗传 算法 之 外 的 其 他 搜索 方法 如 疏 山 法 (Hillclimbing Algorithm)、 最 速 下 降 法 
(Steepest Descent Method)、 局 部 搜索 算法 (Local Search Algorithm) 和 模拟 退火 算法 
(Simulated Annealing Algorithm) 却 在 局 部 搜索 方面 具有 得 天 独 厚 的 优势 ,将 这 些 优 化 
方法 融入 遗传 算法 可 以 成 为 改进 遗传 算法 局 部 搜索 能 力 的 有 效 途 径 。 

二 是 虽然 遗传 算法 对 问题 应 用 求解 具有 很 强 的 普 适 性 ,但 是 应 用 于 特定 的 专门 领域 
问题 时 ,遗传 算法 可 能 不 是 解决 问题 的 最 佳 方法 ,并 不 能 保证 最 佳 的 求解 性 能 。 而 当 人 们 
试图 往 遗 传 算法 中 加 入 专门 领域 特定 知识 时 ,发 现 遗 传 算法 的 性 能 明显 改善 “2 。 

混合 的 思想 能 够 成 功 地 使 得 到 的 混合 算法 在 性 能 上 超过 原 有 的 遗传 算法 的 。 表 4. 7 
归纳 了 一 些 混 合 遗传 算法 的 成 功 实 例 。 

表 4.7 混合 遗传 算法 的 成 功 实例 


混合 算法 名 称 参考 文献 
并 行 组 合 模拟 退火 算法 (Parallel Recombination Simulated Annealing, PRSA) [43 ] 
并 行 模拟 退火 遗传 算法 (Parallel Simulated Annealing and Genetic Algorithms, PSAGA) [44 ] 
贪 焚 遗传 算法 (Greedy Genetic Algorithm, GGA) [46 | 
遗传 比率 切割 算法 (Genetic Ratio-Cut Algorithm, GRCA) [47 ] 
遗传 假山 法 (Genetic Hillclimbing Algorithm, GHA) [48] 
引入 局 部 改善 操作 的 混合 遗传 算法 [49] 
免疫 遗传 算法 (Immune Genetic Algorithm, IGA) C50] 


4.3.4 并 行 遗 传 算 法 


并 行 计 算 (Parallel Computing) 区 别 于 在 单 指令 流 单数 据 流 (Single Instruction 
Single Data,SISD) 处 理 右 上 执行 的 串 行 计算 (Serial Computing) ,是 一 种 通过 使 用 单 指令 
流 多 数据 流 (Single Instruction Multiple Data, SIMD) 计算 机 、 多 指令 流 多 数据 流 
(Multiple Instruction Multiple Data,MIMD) 计 算 机 或 并 行 计 算 网 络 来 快速 解决 大 型 而 
又 复杂 的 计算 问题 的 新 的 现代 计算 技术 。 并 行 计 算 能 够 充分 利用 各 种 计算 资源 和 存储 资 
源 , 是 突破 目前 计算 机 计算 瓶颈 的 可 行 技术 之 一 。 随 春 并 行 计 算 机 和 网 络 的 飞速 发 展 ,并 
行 计算 的 基础 越 来 越 稳固 ,并 以 较 快 的 速度 发 展 和 完善 。 并 行 计算 技术 为 解决 遗传 算法 
的 计算 效率 问题 提供 了 有 效 的 技术 手段 。 在 遗传 算法 运行 过 程 中 ,算法 的 计算 量 在 群 
体 规模 较 大 时 将 急剧 增加 ,尤其 是 染色 体 适 应 值 的 计算 将 占据 CPU 大 量 的 计算 时 间 ， 
从 而 降低 了 算法 的 运行 速度 。 男 一 方面 ,遗传 算法 具有 潜在 的 并 行 性 "51, 虽然 算法 从 
整体 的 流程 上 看 仍然 是 串 行 的 ,但 是 算法 运行 过 程 中 对 每 个 染色 体 的 处 理 却 是 具有 一 
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定 的 相互 独立 性 的 ,例如 变异 操作 、 适 应 值 计算 。 这 为 器 遗 传 算 法 中 引入 并 行 计 算 技 
术 的 实现 提供 了 可 行 条 件 。 因 此 出 现 了 并 行 遗 传 算法 (Parallel Genetic Algorithm, 
PGA) 5 的 概念 。 

接 下 来 讨论 如 何 将 并 行 计 算 应 用 于 遗传 算法 。 在 目前 的 研究 应 用 中 ,并行 遗传 算法 
有 两 种 表现 形式 ,一 种 是 标准 型 并 行 方法 (Standard Parallel Approach) , 另 一 种 是 分 解 型 
并 行 方法 (Decomposition Parallel Approach) 。 

标准 型 并 行 方法 并 没有 根本 改变 遗传 算法 整体 上 的 串 行 计算 结构 ,只 是 在 算法 的 某 
些 操作 中 引入 并 行 计 算 技 术 , 这 些 操作 包括 适应 值 计 算 、 选 择 操作 、 交 配 操 作 、 变 异 操作 
EESTI 。 图 4.11 是 标准 型 并 行 方法 实现 遗传 算法 各 个 操作 并 行 化 的 示意 图 。 


将 规模 为 A 的 群体 中 
的 染色 体 进行 分 组 , 再 反 
分 组 分 配 到 不 同 的 计算 次 

源 上 执行 初始 化 操作 


对 染色 体 进行 分 组 , 骨 
把 分 组 分 配 到 不 同 的 计算 
俯 源 分 别 独立 进行 染色 体 
的 适应 值 计算 


先 根据 交配 概率 Pak 
择 可 以 参加 交配 的 染色 体 ， 


对 交配 的 染色 体 对 进行 分 
组 ,再 分 配 到 各 个 计算 次 
源 上 据 行 交配 操作 


对 染色 体 进行 分 组 ,再 
把 分 组 分 配 到 不 同 的 计算 | 
资源 上 ,分 别 对 染色 体 的 基 
因 按照 变异 概率 P,, 进 行 变 
异 操作 


图 4.11 标准 型 并 行 方法 简单 示意 图 


分 解 型 并 行 方 法 的 基本 思想 是 将 整个 群体 分 解 成 几 个 子 群体 ,各 个 子 群 体 分 配 到 不 
同 的 计算 资源 上 分 别 独立 地 使 用 原 有 的 遗传 算法 进行 进化 。 可 见 ,这 种 思想 更 贴近 于 日 
然 界 的 生物 进化 系统 。 由 于 地 域 的 限制 ,分 布 在 不 同 地 域 的 同一 种 生物 的 进化 过 程 是 不 
相同 的 ,最 终 导 致 出 现 各 种 不 同 的 物种 。 不 同 物种 适应 环境 的 能 力 不 尽 相同 。 同 样 地 , 独 
立 进行 进化 的 各 个 子 群体 在 各 个 阶段 的 进化 程度 也 是 不 同 的 。 因 此 ,分 解 型 并 行 方法 要 
求 每 隔 一 定 的 进化 代数 需要 对 各 个 子 群 体 的 进化 结果 信息 进行 交换 。 图 4. 12 给 出 了 分 
解 型 并 行 方法 简单 示意 图 。 

在 分 解 型 并 行 遗 传 算法 中 ,各 个 子 群体 的 信息 交换 是 一 个 重要 的 操作 。 对 于 子 群 体 
之 间 如 何 交 换 进化 信息 ,需要 解决 表 4. 8 中 列 出 的 几 个 重要 问题 。 
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问题 
交换 的 时 间 
交换 的 方式 


交换 的 内 容 


4.12 分 解 型 并 行 方 法 简单 示意 图 


表 4.8 子 群体 进化 信息 交换 问题 
对 应 的 定义 
每 隔 多 少 个 进化 代数 实行 信息 交换 
每 次 参与 信息 交换 的 子 群体 如 何 确定 ,每 个 子 群体 和 其 他 哪些 子 群体 进行 交换 


可 以 是 用 子 群体 之 间 适 应 值 最 大 的 最 优 染 色 体 取代 参与 交换 的 子 群 体 的 最 优 染 色 
体 , 也 可 以 是 交换 子 群体 的 部 分 较 优 染色 体 等 


围绕 分 解 型 并 行 遗 传 算 法 的 信息 交换 操作 ,学 者 们 提出 了 许多 创造 性 的 方法 。 目 前 
的 研究 成 果 给 出 了 几 种 典型 的 实现 并 行 遗 传 算 法 的 群体 模型 . 岛屿 模型 (Island Model), 
踏 脚 石 模型 (Stepping-stone Model) AIRE (Neighborhood Model)。 基 于 这 些 群 体 模 
型 ,许多 学 者 使 用 不 同 的 信息 交换 策略 ,开发 出 了 各 种 独特 的 并 行 遗 传 算法 。 这 些 算法 各 
有 自己 的 优点 ,成 功 地 提高 了 算法 的 运行 效率 。 表 4. 9 给 出 了 各 种 群体 模型 下 成 功 的 并 


行 遗 传 算法 实例 。 
表 4.9 各 种 群体 模型 下 成 功 的 并 行 遗 传 算法 实例 
踏 脚 石 模型 
异步 并 行 遗 传 优 化 策略 四 [66] 
邻居 模型 (Asynchronous Parallel Genetic Optimization Strategy, ASPARAGOS) 
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4.4 遗传 算法 的 应 用 


遗传 算法 最 早 用 于 研究 和 设计 人 工 自 适应 系统 ”和 求解 函数 优化 问题 中 。 随 着 
对 遗传 算法 的 研究 逐步 深入 ,遗传 算法 的 性 能 不 断 地 得 到 改进 和 完善 ,算法 的 应 用 涉及 更 
加 广泛 的 领域 ,并 表现 出 很 好 的 解决 问题 的 能 力 。 目 前 ,遗传 算法 的 应 用 范围 已 延伸 到 组 
Br AE 图像 处 理 ” ”模式 识别 ””” 智能 控制 1、 神经 网 络 - ”中 、 自 动 程序 设计 、 
BL ee JO A TEO .数据 挖掘 、 网 络 通信 ' 呈 等 多 个 领域 和 各 类 学 科 如 电子 工 
EFO EJS ee ON 、 经 济 学 和 电磁 学 E, 

1. 优化 与 调度 应 用 

大 量 实际 工程 系统 的 设计 和 优化 问题 可 以 转换 为 函数 优化 问题 进行 解决 。 郧 数 优化 
问题 是 一 类 通过 对 函数 变量 进行 数值 的 设置 优化 以 达到 函数 优化 目标 的 问题 。 函 数 优 化 
是 遗传 算法 的 传统 应 用 领域 , 随 大 对 遗传 算法 的 不 断 改 进 ,遗传 算法 应 用 于 解决 函数 优化 
问题 已 经 越 来 越 成 熟 。 

实际 生产 生活 中 存在 许多 调度 和 规划 问题 ,这 类 问题 属于 组 合 优化 问题 ,通常 涉及 比 
限 数 优化 更 为 复杂 的 优化 目标 ,例如 作业 调度 问题 、 旅 行商 问题 \ 布 局 问题 等 。 到 目前 为 
止 ,遗传 算法 已 经 成 功 地 在 许多 调度 和 规划 问题 上 给 出 了 令 人 满意 的 解决 结果 。 表 4. 10 
提供 了 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 。 


表 4.10 遗传 算法 在 工程 系统 设计 优化 与 调度 规划 方面 的 成 功 应 用 


管道 系统 优化 Pipe system optimization [10] 
作业 调度 问题 Job shop scheduling problem [98]L99 | 
划分 问题 Graph partitioning problem [100 | 
木材 切割 优化 问题 Lumber cutting optimization problem [101] 
指派 问题 Assignment problem [102 ] 
网 络 划分 问题 Network partitioning problem [103 ] 
映射 问题 Mapping problem [104 
设备 布局 设计 Facility layout design [105 ] 
运输 问题 Transportation problem [106 | 
背包 问题 Knapsack problem [107 [108 ] 
最 小 生成 树 问 题 Minimum spanning tree problem [109 | 
旅行 商 问 题 Traveling salesman problem [110] 
影片 递交 间 题 Film-copy deliverer problem [111] 
可 靠 性 优化 问题 Reliability optimization problem [112] 
流水 车 间 问 题 Flow shop problem [113 ] 
模糊 车 辆 路 径 问 题 Fuzzy vehicle routing problem [114] 


其 他 Others | 


2. 其 他 方面 的 应 用 
遗传 算法 的 应 用 范围 并 不 局 限于 函数 优化 和 组 合 优 化 问题 ,而 且 广 泛 地 应 用 于 图 像 
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处 理 和 模式 识别 、 机 器 学 习 、 智 能 控制 、 人 工 生 命 、 自 动 程 序 设 计 等 重要 领域 ,如 表 4. 11 所 
示 。 目 前 关于 遗传 算法 应 用 的 研究 和 尝试 活动 依然 鞍 勃 发 展 , 随 着 遗传 算法 的 不 断 发 展 ， 
相信 遗传 算法 能 够 有 效 地 应 用 于 其 他 更 多 的 领域 。 


表 4.11 遗传 算法 在 其 他 方面 的 应 用 
名 图 像 处 理 和 模式 识别 


。 图 像 分 割 

Bhanu B,Lee S 和 Ming J 将 遗传 算法 应 用 于 自 优 化 图 像 分 割 "]，; 

Chun D N 和 Yang H S 使 用 带 模 糊 测 度 的 遗传 算法 实现 具有 健壮 性 的 图 像 分 割 技 术 "]。 
。 图 像 复 原 及 重建 优化 

Chen Y W 使 用 基于 岛屿 模型 的 并 行 遗传 算法 实现 对 图 像 的 复原 ; 

Chen Y W 使 用 调和 算 子 约束 的 遗传 算法 对 中 子 半 影 成 像 的 重建 问题 进行 了 研究 [9 。 
。 图 像 识 别 检索 

Bhandarkar SM 等 人 成 功 将 遗传 算法 应 用 于 对 图 像 边 缘 的 检测 ; 

Cross AD 等 人 使 用 遗传 算法 进行 图 形 匹 配 "]，。 


名 机 器 学 习 


。 学 习 分 类 系统 
Holland J H 等 人 "J 在 1978 年 成 功 实现 了 第 一 个 基于 遗传 算法 的 分 类 系统 (Classifier 
Systems) 第 一 级 认 知 系统 CS-1; 
Smith SF 在 1980 年 成 功 实现 基于 遗传 算法 的 机 器 学 习 系统 LS-1521 ; 
Booker L B F 1982 年 在 其 博士 论文 中 提出 另 一 种 基于 遗传 算法 的 分 类 系统 上 ; 
Wilson S W 使 用 遗传 算法 于 1985 年 ' 鸣 成 功 开 发 了 用 于 协调 可 移动 视频 摄像 机 感知 运动 的 分 类 
系统 EYE-EYE; 此 后 他 又 提出 新 的 分 类 系统 ANIMAT) ; 
Goldberg D E 运用 遗传 算法 和 规则 学 习 实现 用 于 控制 煤气 管道 计算 机 辅助 系统 的 分 类 系统 1 ; 
De Jong K A 等 人 使 用 遗传 算法 研制 了 概念 学 习 系 统 GABIL'” ; 
Janikow C Z 实 现 的 GIL! 和 Green D P 等 人 研制 的 COGIN” 也 是 通过 遗传 算法 实现 概念 学 习 
的 特有 操作 。 
。 神经 网 络 
Vittorio Maniezzo 将 遗传 算法 应 用 于 神经 网 络 拓扑 结构 和 连接 权 值 的 优化 -7 ; 
Bornholdt S 等 人 成 功 将 遗传 算法 应 用 于 非 对 称 神 经 网 络 的 设计 ; 
Schaffer J D 等 人 利用 遗传 算法 改进 神经 网 络 的 突现 行为 "9 ; 
Marshall SJ 等 人 实现 基于 遗传 算法 的 前 馈 神经 网 络 优 化 和 训练 5]，。 


乞 智 能 控制 


。 使 用 GA 实现 系统 识别 和 控制 

。 使 用 GA 实现 谈判 支持 系统 

。 使 用 GA 实现 模糊 控制 器 的 自动 调整 7” 
。 使 用 GA 实现 控制 器 的 设计 和 调整 


名 其 他 


e ATEMU 
自动 程序 设计 中 
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1. 请 阐述 遗传 算法 的 基本 思想 来 源 。 
2. 请 写 出 遗传 算法 执行 过 程 的 基本 步骤 。 
MN 二 — l 
3. BRRR y = f C219 T29 Z3 s 24) = ireke S ， 


zzyzsy4s10, 使 用 遗传 算法 求解 y 的 最 大 值 ,请 仿照 例 4. 1 写 出 关键 的 求解 步骤 。 


例 4. 


4. 谈 谈 你 对 4. 3. 1 节 涉 及 的 几 种 选择 算法 熟 优 熟 劣 的 看 法 。 

5. APA ER ASR, 并 简单 描述 各 个 控制 参数 对 算法 的 作用 和 意义 。 
6. 请 写 出 对 评估 盟 数 进行 修正 的 主要 方法 。 

7. 参阅 有 关 文 献 ,探讨 混合 遗传 算法 优 于 基本 遗传 算法 的 特点 。 

8. 试 比较 并 行 遗传 算法 中 标准 型 并 行 方法 和 分 解 型 并 行 方 法 的 不 同 之 处 。 

9. 按照 4. 2 节 给 出 的 遗传 算法 基本 流程 结构 上 机 编写 完整 的 遗传 算法 程序 ,实现 对 
1 和 习题 3 完整 的 求解 。 

10. 在 习题 9 的 遗传 算法 程序 中 对 遗传 算法 几 个 主要 控制 参数 的 取 值 进行 修改 , 比 


较 修 改 前 后 程序 的 运行 性 能 。 
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蚁 群 优化 算法 


RBS 


FPA FETAL ce IGE A He FR TA LPI H ETS ,它们 是 如 何 
确立 寻找 的 路 线 的 ? 是 如 何 与 同伴 合作 交流 的 ? 会 不 会 也 是 一 种 优化 行 
为 呢 ? 我 们 能 据 此 设计 出 一 种 最 优化 搜索 算法 吗 ? 


Eg 


蚂蚁 群体 寻 技 食物 的 过 程 可 以 看 
做 是 一 种 启发 式 搜 索 过 程 .蚂蚁 之 间 
通过 一 种 称 为 信息 素 (Pheromone) 的 
物质 实现 了 相互 的 间接 通信 , 从 而 能 
人 够 合作 发 现 从 蚁 穴 到 食物 源 的 最 短 
路 径 。 

通过 对 这 种 群体 智能 行为 的 抽 
RE, 研究 者 提出 了 蚁 群 优化 算 
法 (Ant Colony Optimization, ACO), 
为 最 优化 问题 , 尤其 是 组 合 优 化 问 
题 的 求解 提供 了 一 强 有 力 的 手段 。 
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蚁 群 优化 算法 (Ant Colony Optimization ,ACO) 作 为 一 种 全 局 最 优化 搜索 方法 , 同 遗 
传 算法 一 样 来 源 于 自然 界 的 启示 ,并 有 着 良好 的 搜索 性 能 。 不 同 的 是 , 蚁 群 算法 通过 模拟 
蚂蚁 竟 食 的 过 程 ,是 一 种 天 然 的 解决 离散 组 合 优 化 问题 的 方法 ,在 解决 典型 组 合 优化 问 
题 , 如 旅行 商 问题 (TSP) ,车 辆 路 径 问题 (VRP) ,车 间作 业 调 度 问 题 (JSP) 时 具有 明显 的 
优越 性 。 目 前 针对 蚁 群 算法 在 数学 理论 、 算 法 改进 、 实 际 应 用 等 方面 的 研究 是 计算 智能 领 
域 的 热点 ,取得 了 一 定 的 进展 。 

本 章 将 从 ACO 算法 的 基本 原理 .研究 进展 .基本 流程 改进 版 本 、 参 数 设置 和 相关 应 
用 等 各 个 方面 进行 介绍 ,具体 包括 如 下 的 内 容 : 

。 蚁 群 优化 算法 的 基本 原理 ; 

。 蚁 群 优化 算法 的 研究 进展 ; 

。 蚁 群 优化 算法 的 基本 流程 ; 

。 蚁 群 优化 算法 的 改进 版 本 ; 

。 蚁 群 优化 算法 的 相关 应 用 ; 

。 疏 群 优化 算法 的 参数 设置 。 


5.1 蚁 群 优化 算法 简介 


5.1.1 基本 原理 


日 然 界 常常 是 人 类 创新 思想 的 源 困 。 上 自然 界 中 闪 含 的 内 在 规律 \ 生 物 的 作息 规则 往 
往 被 借鉴 ,并 诞生 新 的 学 科 。 许 多 这 种 在 自然 界 启示 下 诞生 的 新 学 科 新 方法 都 在 数学 基 
础 没有 被 完全 证 明 的 情况 下 ,通过 仿真 实验 验证 了 其 有 效 性 ,因为 神奇 的 生物 界 常常 可 以 
通过 日 号 的 演化 解决 许多 在 人 类 看 来 十 分 复杂 的 优化 问题 。 而 在 这 些 方法 被 验证 有 效 性 
后 ,科学 家 们 又 不 断 答 试 着 给 出 其 数学 理论 的 证 明 , 在 对 数学 理论 基础 探索 的 过 程 中 ,不 
论 是 这 些 思想 和 方法 本 号 ,还 是 日 然 界 生物 界 的 理论 ,都 会 不 断 地 发 展 和 完善 。 

蚁 群 优 化 算法 (Ant Colony Optimization, ACO) fH Dorigo 4 A“! F 1991 年 在 第 一 
届 欧 洲 人 工 生 命 会 议 (European Conference on Artificial Intelligence, ECAL) 上 提出 ,是 
模拟 自然 界 真实 蚂蚁 竟 食 过 程 的 一 种 随机 搜索 算法 。 蚁 群 算法 与 遗传 算法 (Genetic 
Algorithm,GA)、 粒子 群 优 化 算法 (Particle Swarm Optimization, PSO)、 人 免疫 算法 
(Immune Algorithm,IA) 等 同属 于 仿生 优化 算法 ,具有 和 鲁 棒 性 强 、 全 局 搜索 、 并 行 分 布 式 
计算 、 易 与 其 他 方法 结合 等 优点 ,在 典型 组 合 优化 问题 如 旅行 商 问 题 (Traveling Salesman 
Problem. TSP)°! | 44 412 i BW (Vehicle Routing Problem,VRP)' ”车 间作 业 调 度 问 
题 (Job-shop Scheduling Problem, JSP)'1!"" 和 动态 组 合 规划 问题 如 通信 和 领域 的 路 由 问 
RA] 中 均 得 到 了 成 功 的 应 用 。 

在 对 图 5. 1 所 示 的 蚂蚁 竟 食 过 程 的 观察 中 ,我 们 不 禁 要 提出 两 个 疑问 : (1) 蚂 蚊 没 有 
发 育 完 全 的 视觉 感知 系统 ,甚至 很 多 种 类 完全 没有 视觉 ,它们 在 寻找 食物 的 过 程 中 是 如 何 
选择 路 径 的 呢 ? 〈2) 蚂 蚊 往 往 像 军队 般 有 纪律 `\ 有 秩序 地 搬运 食物 ,它们 通过 什么 方式 进 
行 群体 间 的 交流 协作 呢 ? 仿生 学 家 经 过 长 期 的 试验 与 钱 究 告诉 我 们 问题 的 答案 : 无 论 是 
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图 5.1 蚂蚁 的 更 食 行为 


蚂蚁 与 蚂蚁 之 间 的 协作 还 是 蚂蚁 与 环境 之 间 的 交互 , 均 依 赖 于 一 种 化 学 物质 一 一 信息 素 
(pheromone) 。 蚂 尽 在 寻找 食物 的 过 程 中 往往 是 随机 选择 路 径 的 ,但 它们 能 感知 当前 地 
面 上 的 信息 素 浓度 ,并 倾 问 于 往 信 息 素 浓度 高 的 方向 行进 。 信 息 素 由 蚂蚁 自身 释放 ,是 实 
现 蚁 群 内 间接 通信 的 物质 。 由 于 较 短 路 径 上 蚂蚁 的 往返 时 间 比 较 短 ,单位 时 间 内 经 过 该 
路 径 的 蚂蚁 多 ,所 以 信息 素 的 积累 速度 比较 长 路 径 快 。 因 此 , 当 后 续 蚂 尽 在 路 口 时 ,就 能 
感知 先前 蚂蚁 留 下 的 信息 ,并 倾 回 于 选择 一 条 较 短 的 路 径 前 行 。 这 种 正 反 馈 机 制 使 得 越 
来 越 多 的 蚂 尽 在 巢穴 与 食物 之 间 的 最 短路 径 上 行进 。 由 于 其 他 路 径 上 的 信息 素 会 随 着 时 
间 蒸 发 ,最 终 所 有 的 蚂蚁 都 在 最 优 路 径 上 行进 。 蚂 蚁 群体 的 这 种 自 组 织 工 作 机 制 适应 环 
境 的 能 力 特别 强 ,假设 最 优 路 径 上 突然 出 现 障 碍 物 , 蚁 群 也 能 够 绕 行 并 且 很 快 重新 探索 出 
一 条 新 的 最 优 路 径 。 

图 5. 2 是 蚂蚁 通过 传递 信息 素 寻 找 食物 的 示意 图 。 蚂 蚁 1 正 处 于 一 个 路 口 , 它 将 根 
He A C IER” (局 发 式 信 息 ) 和 ”兄弟 们 的 气 上 县 ”信息 素 浓 度 ) 来 选择 前 进 的 路 线 。 选 择 是 
一 个 概率 随机 的 过 程 , 司 发 式 信 息 多 .信息 系 浓度 大 的 路 线 有 更 大 的 概率 被 选中 。 当 小 概 
率 事件 发 生 时 ,例如 蚂蚁 2 选择 了 一 条 非常 长 的 路 径 , 它 只 会 产生 很 少 的 信息 素 ( 并 且 信 
息 素 仍 在 不 断 蒸 发 ) ,使 得 后 面 的 蚂蚁 选择 这 条 路 的 概率 降低 甚至 不 再 选择 这 条 路 径 。 而 
当 某 只 蚂蚁 (蚂蚁 3) 发 现 了 一 条 当前 最 短 的 路 径 时 , 它 将 产生 最 多 的 信息 素 , 并 且 由 于 之 
后 的 蚂蚁 选择 这 条 路 径 的 概率 较 大 ,这 条 路 径 上 疏 过 的 蚂蚁 较 多 (蚂蚁 4 蚂蚁 5……) , 信 


2) 天 哪 ， 我 一 定 是 走 错 路 了 ， 
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we. Ee clam | i saaye, “产生 多 点 信息 素 ， 
eo ACMA | 的” 人 好 组 的 信息 未 波 度 ，。 兄弟 们 不 引入 | 


-r mm — oe ee em ee ee 


Dn ~~ ge 
(6) 我 自己 走 ， 说 不 定 能 探索 

出 下 一 条 更 短 的 路 径 呢 ， 
到 时 候 你 们 就 都 会 跟着 我 了 


图 5.2 蚁 群 根据 信息 素 竟 食 的 过 程 
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恩 泰 浓度 将 不 断 增 加 ,以 至 于 最 后 所 有 的 蚂蚁 部 在 这 条 路 上 行进 。 但 考虑 到 当前 最 短 的 
路 径 有 可 能 是 一 条 局 部 最 优 路 径 ,蚂蚁 6 的 探索 行为 也 是 必需 的 。 
通过 对 自然 界 蚁 群 竟 食 过 程 进行 抽象 建 模 ,我 们 可 以 对 蚁 群 竟 食 现象 和 蚁 群 优化 算 
法 中 的 各 个 要 素 建 立 一 一 对 应 关系 ,如 表 5. 1 所 示 。 
表 5.1 蚁 群 砚 食 现象 和 蚁 群 优 化 算法 的 基本 定义 对 照 表 


蚁 群 现 食 现象 蚁 群 优化 算法 
蚁 群 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规 模 zz) 
KB li] 问题 的 搜索 空间 (表现 为 问题 的 规模 、 解 的 维 数 n) 
信息 素 信息 素 浓 度 变 量 
蚁 巢 到 食物 的 一 条 路 径 一 个 有 效 解 
找到 的 最 短路 径 问题 的 最 优 解 


5.1.2 研究 进展 


第 一 个 ACO 算法 一 一 蚂蚁 系统 (Ant System, AS) 007) 是 以 NP 难 的 TSP 问题 作 
为 应 用 实例 而 提出 的 。AS 算法 初步 形成 的 时 候 虽 然 能 找到 问题 的 优化 结果 ,但 其 算法 
的 执行 效率 在 当时 并 不 优 于 其 他 传统 方法 ,因此 ACO 并 未 受到 国际 学 术 界 的 广泛 关注 。 
1992—1996 年 间 关 于 蚁 群 算法 的 研究 处 于 停 沾 状态 ,直到 1996 年 Dorigo 的 Ant system : 
optimization by a colony of cooperating agents 一 文 呈 正式 发 表 在 IEEE Transaction on 
System, Man, and Cybernetics。 这 篇 文章 详细 地 介绍 了 AS 的 基本 原理 和 算法 流程 ,并 
对 AS 的 三 个 版 本 : 蚂蚁 密 度 (antrdensity)、 93 WAS (ant-quantity) Al #3 Wl (ant-cycle) 
进行 了 性 能 比较 。 在 蚂蚁 密度 和 蚂蚁 数量 这 两 种 AS 版 本 中 , 蚂 尽 都 是 每 到 达 一 个 城市 
就 释放 信息 素 , 而 在 蚂蚁 圈 中 ,蚂蚁 是 在 构建 了 一 条 完整 的 路 径 之 后 再 根据 路 径 的 长 短信 
息 来 释放 信息 素 。 现 在 一 般 我 们 所 讲 的 AS 就 是 蚂蚁 圈 , 另 外 两 者 由 于 性 能 不 佳 已 经 被 
淘汰 。Dorigo 还 在 该 文中 将 算法 的 应 用 领域 由 旅行 商 问题 延伸 到 指派 问题 和 车 间作 业 
调度 问题 ,并 将 AS 的 性 能 与 仆 山 法 模拟 退火 .禁忌 搜索 .遗传 算法 等 进行 了 仿真 实验 比 
较 , 发 现在 大 多 数 情况 下 ,AS 的 寻 优 能 力 都 是 最 优 的 。 这 是 蚊 群 优化 算法 发 展 历 史上 的 
一 个 里 程 碑 ,此 后 ACO 在 国际 上 受到 了 越 来 越 多 的 关注 。 

AS 是 蚁 群 算法 的 和 骏 形 , 它 的 出 现 为 各 种 改进 算法 的 提出 提供 了 有 灵感。 之 后 诞生 了 
许多 改进 的 ACO 算法 ,如 表 5.2 所 示 。 这 些 典 型 的 ACO 算法 包括 精华 蚂 蚊 系统 (Elitist 
AS,EAS)°" 最 大 最 小 蚂蚁 系统 (MAX-MIN AS, MMAS)"8?°) 、 基 于 排列 的 蚂蚁 系统 
(rank-based AS, ASyank OU 等 ,它们 大 多 是 在 AS 上 直接 进行 改进 。 通 过 修正 信息 素 的 更 
新 方式 和 增添 信息 素 维护 过 程 中 的 额外 细节 ,ACO 算法 的 性 能 得 到 了 提高 。1997 年 ， 
ACO 的 创始 人 Dorigo 在 IEEE Transactions on Evolutionary Computation 发 表 Ant 
colony system: A cooperative learning approach to the traveling salesman problem 一 
SC ,提出 了 一 种 大 幅度 改动 AS 特征 的 算法 一 一 蚁 群 系统 (Ant Colony System, ACS), 
实验 结果 表明 ACS 的 算法 性 能 明显 优 于 AS, ACS 是 蚁 群 优化 算法 发 展 史 上 的 又 一 里 程 
碑 。 之 后 蚁 群 算法 继续 发 展 ,新 拓展 算法 不 断 出 现 , 例 如 采用 下 限 技术 的 ANTS $F 


Om MERA 


法 J 超 立方 体 框架 AS 算法 人 中等。 传统 的 ACO 算法 是 解决 离散 空间 的 组 合 优化 
问题 的 ,到 了 21 世纪 ,各 种 连续 蚁 群 算法 中 的 出 现 , 进 一 步 扩 展 了 收 群 算法 的 应 用 
表 5.2 典型 的 ACO 算法 


蚂蚁 系统 (AS) 1991/1996 Dorigo 第 一 个 ACO 算法 
精华 AS(EAS) 1991 Dorigo 

Ant-Q 1995 Gambardella 

最 大 最 小 AS(MMAS) 1996 Stiitzle 

基于 排列 的 AS(AS,ni) 1997 Bullnheimer 

蚁 群 系统 (ACS) 1997 Dorigo 

ANTS 1999 Maniezzo 

连续 蚁 群 (CACO) 2000 Mathur 优化 连续 空间 问题 
最 优 最 差 ASCBWAS) 2000 Cordon 

超 立 方 体 ASCHC-ACO) 2001 Blum 

正 交 连 续 蚁 群 (COAC) 2008 优化 连续 空间 问题 


伪 并 行 蚁 群 (PACO) 2008 


5.2 WE RADA TE 


前 面 已 经 提 到 ,蚂蚁 系统 是 以 TSP 作为 应 用 实例 提出 的 ,虽然 它 的 算法 性 能 不 及 之 
后 的 各 种 扩展 算法 如 MMAS、ACS 等 优秀 ,但 它 是 最 基本 的 ACO 算法 ,比较 易于 学 习 和 
掌握 。 本 节 将 以 蚂蚁 系统 求解 TSP 问题 的 基本 流程 为 例 来 描述 蚁 群 优 化 算法 的 工作 机 
制 ,各 种 扩展 算法 将 在 下 一 节 中 介绍 。 


5.2.1 基本 流程 


AS 算法 对 TSP 的 求解 流程 主要 有 两 大 步骤 : 路 径 构建 和 信息 素 更 新 。 

已 知 守 个 城市 的 集合 C= {ers cos tts Cn} ,任意 两 个 城市 之 间 均 有 路 径 连 接 ,d; (i， 
j 王 1,2,… ,7n) 表 示 城 市 i 与 7 之 间 的 距离 , 它 是 已 知 的 (或 者 城市 的 坐标 集合 为 已 知 ,d; 
即 为 城市 i 与 7 之 间 的 欧 几 里 德 距 离 )。 如 在 第 1 草 中 定义 的 一 样 ,TSP 的 目的 是 找到 从 
某 个 城市 c; 出 发 ,访问 所 有 城市 且 只 访问 一 次 ,最 后 回 到 cc; 的 最 短 封 闭路 线 。 

1. 路 径 构 建 

每 只 蚂蚁 都 随机 选择 一 个 城市 作为 其 出 发 城市 ,并 维护 一 个 路 径 记 忆 回 量 , 用 来 存放 
该 蚂蚁 依次 经 过 的 城市 。 蚂 蚁 在 构建 路 径 的 每 一 步 中 ,按照 一 个 随机 比例 规则 选择 下 一 
个 要 到 达 的 城市 。 

定义 5.1 AS 中 的 随机 比例 规则 (random proportional): 对 于 每 只 蚂蚁 有 & ,路径 记忆 
回 量 R* 按照 访问 顺序 记录 了 所 有 已 经 经 过 的 城市 序号 。 设 蚂蚁 当前 所 在 城市 为 i， 
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则 其 选择 城市 7 作为 下 一 个 访问 对 象 的 概率 为 : 
Lej) #LyG.j) } JEL 


A s: . g’ 
pr (i,j) = Pra Lyi] er 


0, 其 他 

其 中 ,J (让 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂蚁 访问 过 的 城市 序列 R* 中 的 城市 
集合 。n(i, 7) 是 一 个 启发 式 信息 ,通常 由 7 (i, j)= 二 1/d; 直接 计算 。r(i, j) 表 示 边 (i, j) 
上 的 信息 素 量 。 由 公式 (5.1) 我 们 知道 ,长 度 越 短 、 信 息 素 浓度 越 大 的 路 径 被 蚂蚁 选择 的 
ERRAK. a 和 8 是 两 个 预先 设置 的 参数 ,用 来 控制 司 发 式 信息 与 信息 又 浓 度 作 用 的 权 
重 关 系 。 当 a 二 0 时 ,算法 演变 成 传统 的 随机 贪 禁 算法 ,最 邻近 城市 被 选中 的 概率 最 大 。 
当 B=0 时 ,蚂蚁 完全 只 根据 信息 素 浓度 确定 路 径 ,算法 将 快速 收敛 ,这样 构建 出 的 最 优 路 
径 往 往 与 实际 目标 有 着 较 大 的 差异 ,算法 的 性 能 比较 糟糕 。 实 验 表明 ,在 AS 中 设置 
a=1,8B=2~5 比较 合适 。 

2. 信息 素 更 新 

在 算法 初始 化 时 ,问题 空间 中 所 有 的 边 上 的 信息 素 都 被 初始 化 为 WE rm KY, 
算法 容易 早熟 , 即 蚂蚁 很 快 就 全 部 集中 在 一 条 局 部 最 优 的 路 径 上 。 反 之 ,如 有 果 ro 太 大 , 信 
息 素 对 搜索 方向 的 指导 作用 太 低 ,也 会 影响 算法 性 能 。 对 AS 来 说 ,我 们 使 用 
to =m/C™ ,m 是 蚂蚁 的 个 数 ,C" 是 由 贪 禁 算 法 构造 的 路 径 的 长 度 。 

当 所 有 蚂蚁 构建 完 路 径 后 ,算法 将 会 对 所 有 的 路 径 进 行 全 局 信息 素 的 更 新 。 注 意 ,我 
们 所 描述 的 是 AS 的 ant-cycle 版 本 ,更 新 是 在 全 部 蚂蚁 均 完 成 了 路 径 的 构造 后 才 进 行 的 ， 
信息 素 的 浓度 变化 与 蚂蚁 在 这 一 轮 中 构建 的 路 径 长 度 相 关 , 实 验 表 明 ant-cycle 比 ant- 
density 和 ant-quantity 的 性 能 要 好 很 多 。 

fA BA IN rt AP SOR: 首先 ,每 一 轮 过 后 ,问题 空间 中 的 所 有 路 径 上 的 信息 素 
都 会 发 生 蒸发 ,我们 为 所 有 边 上 的 信息 素 乘 上 一 个 小 于 1 的 常数 。 信 息 素 蒸发 是 自然 界 
本 喘 固 有 的 特征 ,在 算法 中 能 够 帮助 避免 信息 素 的 无 限 积累 ,使 得 算法 可 以 快速 丢弃 之 前 
构建 过 的 较 差 的 路 径 。 随 后 所 有 的 蚂蚁 根据 自己 构建 的 路 径 长 度 在 它们 本 轮 经 过 的 边 上 
释放 信息 素 。 蚂 蚁 构建 的 路 径 越 短 .释放 的 信息 素 就 越 多 ;一 条 边 被 蚂蚁 爬 过 的 次 数 越 
多 、 它 所 获得 的 信息 素 也 越 多 。AS 中 城市 i 与 城市 7 的 相连 边 上 的 信息 素 量 eG.) FEM 
下 公式 进行 更 新 : 


tlij) = (1—p) ri,)) + >) An sj) 
k=1 


(CH) Gj) € R* (5.2) 


0, 其 他 
这 里 ,m 是 蚂蚁 个 数 ;o 是 信息 素 的 蒸发 率 ,规定 0 二 po 三 1, 在 AS 中 通常 设置 为 p=0.5. 
Azt.(i,)) 是 第 有 只 蚂蚁 在 它 经 过 的 边 上 释放 的 信息 素 量 , 它 等 于 蚂蚁 本 轮 构 建 路 径 长 
度 的 倒数 。C 表示 路 径 长 度 , 它 是 R 中 所 有 边 的 长 度 和 。 

AS 求解 TSP 的 流程 图 和 伪 代 码 如 图 5. 3 所 示 。 


At, (1,7) = | 


POS MAUR 


// 功 能 : 蚂蚁 系统 伪 代 码 
// 说 明 : 本 例 以 求解 TSP 问题 为 目标 


初始 化 每 条 边 上 的 信息 素 量 Y // 参 数 : N 为 城市 规模 
否 


procedure AS 


Feces RAD 
对 每 只 蚂蚁 ， 随 机 选择 一 个 
出 发 城市 while not stop 


for each edge 


set initial pheromone value To. 


for each ant k 


randomly choose an initial city. 


for i= lton 
choose next city j with the probability 
given by Eq. (5.1). 
end for 
end for 
compute the length G of the tour constructed 
by the kth ant. 


EF set 


是 
对 每 只 蚂蚁 根据 启发 式 信息 和 信 
因素 浓度 选择 下 一 个 访问 城市 


for each edge 
update the pheromone value by Eq. (5.2). 


end f 
iL a Fea ENR ZK = 
度 ， 更 新 每 条 边 上 的 信息 素 量 end while 
print result. 
end procedure 


5.3 AS 求解 TSP 的 流程 图 和 伪 代 码 


最 后 ,我 们 讨论 一 下 路 径 的 两 种 构建 方式 : 顺序 构建 和 并 行 构建 。 顺 序 构建 是 指 当 
一 只 蚂蚁 完成 一 轮 完整 的 构建 并 返回 到 初始 城市 之 后 ,下 一 只 蚂蚁 才 开 始 构 建 ; 并 行 构建 
是 指 所 有 蚂蚁 同时 开始 构建 ,每 次 所 有 蚂蚁 各 走 一 步 (从 当前 城市 移动 到 下 一 个 城市 )。 
两 种 构建 方式 对 AS 算法 来 说 是 等 价 的 ,但 对 于 之 后 的 一 些 改进 ACO 算法 就 不 等 价 了 。 
请 读者 思考 ,图 5.3 所 示 AS 流程 使 用 的 是 哪 种 构建 方式 呢 ? 


5.2.2 应 用 举例 


下 面 通 过 一 个 简单 的 TSP 的 例子 ,说 明 蚁 群 优化 算法 的 执行 过 程 。 
例 5.1 给 出 用 蚁 群 算法 求解 一 个 四 城市 的 TSP 问题 的 执行 步骤 ,四 个 城市 A,B, 
C.D 之 间 的 距离 矩阵 如 下 : 


3 
9 


mew g 
, NAD 


l 
5 
4 2 
假设 蚂蚁 种 群 的 规模 om = 3. BM a=1.8=2.0=0.5. 
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解 : 使 用 蚂蚁 系统 求解 例 5. 1 的 执行 步骤 如 图 5.4 所 示 。 


步骤 : 急 始 化 。 首 先 使 用 售 梦 算法 得 到 路 径 
(ACDBA), M] C™ = f{(ACDBA) =1+2+4+3=10 。 
求 得 ty-m/C"-3/10-0.3 。 初 始 化 所 有 边 上 的 
信息 素 TAT ° 


步骤 2.1 : 为 每 只 紧 蚁 随机 选择 出 发 城市 ， 
假设 蚂蚁 1 选择 城市 4， 蚂蚁 2 选择 城市 
B, WHI 3 选择 城市 D 。 


UR 2.2: 为 每 只 曲 蚁 选择 下 一 访问 城市 。 
我 们 仅 以 蚂蚁 1 为 例 ， 当 前 城市 去 4, 可 访 
问 城市 集合 J @=1B.C, D} > 计算 蚂蚁 1 选 
择 B,C, D 作为 下 一 访问 城市 的 概率 : 
Bt 4X Ty = 0.3' X (1/3°=0.033 
A> Ep n= 0.3! (P03 


Dae n= 0.3! X (1/2)°=0.075 


p(B) = 0.033/(0.033+0.3+0.075) = 0.081 
p(C) = 0.3/(0.033+0.3+0.075) = 0.74 
p(D) =0.075/(0.033+0.3+0.075) = 0.18 
用 轮 盘 赌 法 则 选择 下 一 访问 城市 。 假 设 
产生 的 随机 数 gq=random(0,1)=0.05, 则 蚂蚁 1 
将 会 选择 城市 8 。 
用 同样 的 方法 为 蚂蚁 2 和 3 选择 下 一 访问 
城市 ， 假 设 蚂 蚁 2 选择 城市 已 ， 蚂 蚁 3 选择 
城市 4 。 


步骤 2.3 : 当前 蚂蚁 1 所 在 城市 AB, 路 径 记 忆 向 量 
R'=(4B), 可 访问 城市 集合 JOC, D 。 计算 蚂蚁 1 
ez C, DD 作为 下 一 起 市 的 概率 ， 
ps pak ans ne -= 0.3! x (1/5) = 0.012 
D:7 Sp X n p= 0.3! X (1/4)? = 0.019 
p(C) = 0.012(0.012+0.019) = 0.39 
p (D) = 0.019/(0.012+0.019) = 0.61 
HSC TRAY UPR b — DATA TTT fe Bere BEAL 
数 g=random(0,1)=0.67, 则 蚂蚁 1 将 会 选择 城市 D 。 
用 同样 的 方法 为 蚂蚁 2 和 3 选择 下 一 访问 城市 , 假 
设 蚂蚁 2 选择 城市 C， 蚂 蚁 3 选择 城市 D 。 


步 对 2.4 : 实际 上 此 时 路 径 已 经 构造 完毕 ， 蚂 蚁 1 构建 
的 路 径 为 (48DC4) 。 蚂 由 2 构建 的 路 径 为 (BDCAB) 。 
蚂蚁 3 构建 的 路 径 为 (D4CBD) 。 


WR 3: 信息 素 更 新 。 

计算 每 只 蚂蚁 构建 的 路 径 长 度 : Ci=3+4+2+1=10， 
C=4+2+1+3=10, C;=2+1+5+4=12 。 更 新 每 条 边 上 的 
FER: 


3 
Tp= (1-p)X Tist X, Atk, =0.5X0.3+(1/10+1/10) = 0.35 
kzl 
ric=(1-p)XTic+ 2 Att- = 0.5 X 0.3+ (1/12)=0.16 
t-l 


如 上 ， 根 据 公式 (5.2) 依次 计算 出 问题 空间 内 所 有 边 更 
新 后 的 信息 素 量 。 


步骤 4: 


如 果 满 足 结束 条 件 ， 则 输出 全 局 最 优 结 来 并 结束 程序 ， 否 则 ， 转 同步 又 2.1 继 续 执行 。 


5.4 使 用 蚂蚁 系统 求解 例 5.1 的 步骤 图 示 


5.3 蚁 群 优化 算法 的 改进 版 本 


在 前 面 的 草 节 中 我 们 已 经 提 到 ,蚂蚁 系统 只 是 蚁 群 算法 的 一 个 最 初 的 版 本 , 它 的 性 能 
有 待 提 高 。 在 AS 诞生 后 的 十 多 年 中 , 蚊 群 算法 持续 被 改进 ,算法 性 能 不 断 提高 ,应 用 领 
域 不 断 扩 张 。 各 种 改进 版 本 的 ACO 算法 有 痢 各 目的 特点 ,本 节 中 我 们 将 介绍 其 中 最 为 
经 由 的 几 个 ,包括 精华 蚂蚁 系统 (Elitist Ant System. EAS) 基于 排列 的 蚂蚁 系统 (rank- 
based Ant System, AS yank) , 最 大 最 小 蚂蚁 系统 (MAX-MIN Ant System, MMAS) LA RK W 
群 系统 (Ant Colony System,ACS) 。 它 们 基本 都 在 20 世纪 90 年 代 提 出 ,虽然 算法 性 能 
在 现在 看 来 不 一 定 是 最 优 的 ,但 这 些 算法 的 思想 是 全 世界 学 者 们 源源 不 断 的 灵感 的 源 果 。 
掌握 这 些 算 法 ,有 助 于 我 们 对 蚁 群 优化 算法 本 和 号 产生 更 深刻 的 理解 。 


第 5 章 “ 蚁 群 优 化 算法 


5.3.1 精华 蚂蚁 系统 


我 们 回忆 AS 算法 ,蚂蚁 在 其 息 过 的 边 上 释放 与 其 构建 路 径 长 度 成 反比 的 信息 素 量 ， 
蚂蚁 构建 的 路 径 越 好 ,属于 路 径 的 各 个 边 上 所 获得 的 信息 素 就 越 多 ,这 些 边 在 以 后 的 迭代 
中 被 蚂蚁 选择 的 概率 也 就 越 大 。 但 我 们 不 难 想象 , 当 城市 的 规模 较 大 时 ,问题 的 复杂 度 呈 
指数 级 增长 ,仅仅 靠 这 样 一 个 基础 单一 的 信息 素 更 新 机 制 引 导 搜 索 偏 向 ,搜索 效率 有 瓶 
贷 。 我 们 能 否 通 过 一 种 “额外 的 手段 ”强化 某 些 最 有 可 能 成 为 最 优 路 径 的 边 ,让 蚂蚁 搜索 
的 范围 更 快 、 更 正确 地 收敛 呢 ? 

答案 是 肯定 的 ,精华 蚂蚁 系统 (Elitist Ant System,EAS) 是 对 基础 AS 的 第 一 次 改 
进 , 它 在 原 AS 信息 素 更 新 原则 的 基础 上 增加 了 一 个 对 至 今 最 优 路 径 的 强化 手段 。 在 每 
轮 信息 素 更 新 完毕 后 ,搜索 到 至 今 最 优 路 径 ( 我 们 用 T 表示 ) 的 那 只 蚂蚁 将 会 为 这 条 路 
径 添加 额外 的 信息 素 。EAS 中 城市 i 与 城市 7 的 相连 边 上 的 信息 系 量 5(i,j) 的 更 新 按 如 
下 公式 进行 : 


r(isj) = (1—p)  rli,j) + > Au G.j) + eA, (ij) 
k=] 


ay [C GER 
E ， — 
k\1»] lo 其 他 (5.3) 
R I s (757) 在 路 径 T, E 
At (is) — 
0, 其 他 


除了 式 (5.2) 中 的 各 个 符号 定义 ,在 EAS 中 ,新 增 了 A (i,j), 并 定义 参数 e 作为 A, (i,j) 
的 权 值 。C 是 算法 开始 至 今 最 优 路 径 的 长 度 。 可 见 ,EAS 在 每 轮 迭 代 中 为 属于 T 的 边 
增加 了 额外 的 e/C 的 信息 素 量 。 

引入 这 种 额外 的 信息 素 强 化 手段 有 助 于 更 好 地 引导 蚂蚁 搜索 的 偏 问 ， o 
M. Dorigo 等 人 对 EAS 求解 TSP 问题 进行 了 实验 仿真 2” ,结果 表明 在 一 个 合适 的 参数 
e 值 作用 下 (一 般 设 置 e 等 于 城市 规模 n) ,EAS 有 着 较 AS 更 高 aa 进化 
速度 。 


53.2 基于 排列 的 蚂蚁 系统 


人 们 的 思想 总 是 与 时 俱 进 的 ,在 精华 蚂蚁 系统 被 提出 后 ,我 们 又 会 思考 ,有 没有 更 好 
的 一 种 信息 素 更 新 方式， E EEI T, 各 边 的 信息 素 浓度 得 到 加 强 , 且 对 其 余 边 的 信息 
素 更 新 机 制 亦 有 改善 ? 

基于 排列 的 蚂蚁 系统 (rank-based Ant System, ASvank ) 就 是 这 样 一 种 改进 版 本 , 它 在 
AS 的 基础 上 给 蚂蚁 要 释放 的 信息 素 大 小 Ar (i,7) 加 上 一 个 权 值 ,进一步 加 大 各 边 信 息 
素 量 的 差异 ,以 指导 搜索 。 在 每 一 轮 所 有 蚂蚁 构建 完 路 径 后 ,它们 将 按照 所 得 路 径 的 长 短 
进行 排名 ,只 有 生成 了 至 今 最 优 路 径 的 蚂蚁 和 排名 在 前 (w 一 1) 的 蚂蚁 才 被 允许 释放 信息 
Fe MGI EG. j) 上 释放 的 信息 素 Az(i, 站 的 权 值 由 蚂蚁 的 排名 决定 。ASrm 中 的 信息 
素 更 新 规则 如 公式 (5.4) 所 示 : 
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wl 
tlij) = (1—p) ris) + >) (w— hk) AN (ij) + 0d, Cis j) 


k=1 


—— (C,)7, (ij) € R* 
Catt} = 一 
k\19] » 其 他 (5.4) 
Ea (C), Gij) 在 路 径 T 上 
Ar (1,7) = 
0, 其 他 


构建 至 今 最 优 路 径 T 的 蚂蚁 (该 路 径 不 一 定 出 现在 当前 迭代 的 路 径 中 ,各 种 蚁 群 算 
法 均 假 设 蚂 蚁 有 记忆 功能 ,至 今 最 优 的 路 径 总 是 能 被 记 住 ) 产 生 信 息 素 的 权 值 大 小 为 w, 
CHE T 的 各 边 上 增加 w/C 的 信息 素 量 ,也 就 是 说 ,路 径 T, 将 获得 最 多 的 信息 素 量 。 
其 余 的 ,在 本 次 迭代 中 排名 第 kk 二 1,2,…,w 一 1) 的 蚂蚁 将 释放 (w 一 &)/C 的 信息 素 。 
排名 越前 的 蚂蚁 释放 的 信息 素 量 越 大 , 权 值 Co 一 &) 对 不 同 路 径 的 信息 素 浓度 差异 起 到 了 
一 个 放大 的 作用 ,ASss 能 更 有 力度 地 指导 蚂蚁 搜索 。 一 般 设置 w 王 6。 

以 往 的 实验 结果 5 表明 AS a AD BE AS 以 及 EAS 更 高 的 寻 优 能 力 和 更 快 的 求解 
速度 。 


5.3.3 最 大 最 小 蚂蚁 系统 


在 介绍 最 大 最 小 蚂蚁 系统 之 前 ,我 们 先 思考 几 个 问题 : 

问题 一 : 对 于 大 规模 的 TSP, 由 于 搜索 蚂蚁 的 个 数 有 限 ,而 初始 化 时 蚂蚁 的 分 布 是 随 
机 的 ,这 会 不 会 造成 蚂蚁 只 搜索 了 所 有 路 径 中 的 小 部 分 就 以 为 找到 了 最 好 的 路 径 , 所 有 的 
蚂蚁 都 很 快 聚集 在 同一 路 径 上 ,而 真正 优秀 的 路 径 并 没有 被 探索 到 呢 ? 

问题 二 : 当 所 有 蚂蚁 都 重复 构建 着 同一 条 路 径 的 时 候 , 意 味 着 算法 已 经 进入 停滞 状 
态 。 此 时 ,不论 是 基本 AS、EAS 还 是 AS ,之 后 的 迭代 过 程 都 不 再 可 能 有 更 优 的 路 径 出 
现 。 这 些 算法 收敛 的 效果 虽然 是 “单纯 而 快速 的 ”, 但 我 们 都 懂得 “ 欲 速 则 不 达 ” 的 道理 ,我 
们 有 没有 办 法 利用 算法 停滞 后 的 迭代 过 程 进 一 步 搜 索 以 保证 找到 更 接近 真实 目标 的 
解 呢 ? 

为 了 解决 上 面 的 两 个 问题 ,最 大 最 小 蚂蚁 系统 (MAX-MIN Ant System,MMAS) 在 
基本 AS 算法 的 基础 上 进行 了 下 列 四 项 改进 。 

(1) 只 允许 迭代 最 优 蚂 蚁 (在 本 次 迭代 构建 出 最 短路 径 的 蚂蚁 ) ,或 者 至 今 最 优 蚂蚁 
释放 信息 素 。 

(2) 信息 素 量 大 小 的 取 值 范围 被 限制 在 一 个 区 间 内 。 

(3) 信息 素 初始 值 为 信息 素 取 值 区 间 的 上 限 ,并 伴随 一 个 较 小 的 信息 素 蒸 发 速率 。 

(4) 每 当 系统 进入 停滞 状态 ,问题 空间 内 所 有 边 上 的 信息 素 量 都 会 被 重新 初始 化 。 

下 面 我 们 介绍 这 四 项 改进 带 来 的 优势 。 

改进 (1) 借 鉴于 精华 蚂蚁 系统 ,但 又 有 细微 的 不 同 。 在 EAS 中 ,只 允许 至 今 最 优 的 蚂 
下 释放 信息 素 ,而 在 MMAS 中 ,释放 信息 素 的 不 仅 有 可 能 是 至 今 最 优 蚂 蚁 ,还 有 可 能 是 
和 迭代 最 优 蚂蚁 。 实 际 上 ,和 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 在 MMAS 中 会 被 交替 
使 用 。 这 两 种 规则 使 用 的 相对 频率 将 会 影 啊 算法 的 搜索 效果 。 如 有 果 只 使 用 至 今 最 优 更 新 
规则 进行 信息 素 的 更 新 ,搜索 的 导 癌 性 很 强 , 算 法 会 很 快 收敛 到 OT, 附近 ;反之 ,如 果 只 使 
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FET Bae CE Er RLY , 则 算法 的 探索 能 力 会 得 到 增强 ,但 收敛 速度 会 下 降 。 实 验 结果 表 
BHC ,对 于 小 规模 的 TSP 问题 ,仅仅 使 用 迭代 最 优 信息 素 更 新 方式 即 可 。 随 着 问题 规模 
的 增 大 ,至 今 最 优 信 息 素 规则 的 使 用 变 得 越 来 越 重 要 。 一 种 好 的 方式 是 ,在 算法 迭代 过 程 
中 ,逐渐 加 大 至 今 最 优 更 新 的 概率 。 需 要 指出 的 是 ,计算 智能 领域 的 各 个 算法 大 多 是 不 确 
定 搜索 ,我 们 不 能 完全 通过 理论 的 分 析 就 判断 出 一 种 方法 好 还 是 不 好 ,不 论 是 对 遗传 算 
法 、 蚁 群 优化 算法 还 是 下 一 章 将 要 介绍 的 粒子 群 优化 算法 的 研究 与 改进 ,往往 都 是 一 
“理论 猜想 一 实验 探索 一 理论 分 析 总 结 ? 的 过 程 。 

在 MMAS 中 ,为 了 避免 某 些 边 上 的 信息 系 浓 度 增长 过 快 ,算法 出 现 早熟 现象 , 即 所 
有 的 蚂蚁 都 搜索 一 条 较 优 而 不 是 最 优 的 路 径 ,提出 了 改进 (2)。 信 息 素 量 的 大 小 被 限定 在 
一 个 取 值 范围 Lzwis Tma 内。 我 们 知道 ,蚂蚁 是 依据 启发 式 信息 和 信息 素 浓 度 选择 下 城市 
节点 的 ,其 中 启发 式 信息 为 蚂蚁 当前 所 在 城市 i 到 下 一 可 能 城市 7 的 距离 的 ds 的 倒数 ,由 
于 各 个 dg 的 大 小 是 事先 给 定 的 , 取 值 范围 已 经 确定 ,所 以 当 信 息 素 浓度 也 被 限制 在 一 
范围 内 以 后 ,位 于 城市 i 的 蚂蚁 & 选择 城市 7 作为 下 一 城市 的 概率 pi(i,7) 也 将 被 限制 在 
一 个 区 间 内 。 我 们 假设 这 个 区 间 为 Lprin ,pmax ,关于 prin 和 pmax 的 值 有 兴趣 的 读者 可 以 日 
行 求解 ,我 们 在 这 里 仅仅 确定 有 O< Pin S Pe Gj) SP max 1s 4 AM 49K RRIF — 
以 选择 的 城市 时 才 会 有 pws 二 pmax 二 1。 实 际 上 ,我 们 无 需 计 算 pss 和 pw 的 值 的 大 小 ,只 
要 知道 O< pmi SPa Cj) S Pma S1 就 可 以 确定 算法 已 经 有 效 避 免 了 陷入 停滞 状态 的 可 
能 性 。 

由 改进 (3) 我 们 知道 ,算法 在 初始 化 阶段 ,问题 空间 内 所 有 边 上 的 信息 素 均 被 初始 化 
为 rwx 的 估计 值 , 且 信息 素 蒸发 速率 非常 小 (在 MMAS 中 ,一般 将 o 置 为 0.02), 这 样 一 
来 ,不 同 边 上 的 信息 素 浓度 差异 只 会 缓慢 地 增加 ,因此 在 算法 的 初始 化 阶段 ,MMAS 有 着 
较 基本 AS、EAS 和 ASwm 更 强 的 探索 能 力 。 增 强 算法 在 初始 阶段 的 探索 能 力 有 助 于 蚂蚁 
“视野 开阔 地 ”进行 全 局 范围 内 的 搜索 ,随后 再 逐渐 缩小 搜索 范围 ,最 后 定格 在 一 条 全 局 最 
REE. 

改进 (2) 和 (3) 为 我 们 解决 了 本 小 节 开 头 提 出 的 问题 一 ,下 面 我 们 讨论 问题 二 的 解决 
方式 : 改进 (4)。 之 前 的 蚁 群 算法 ,不 论 是 AS, EAS 还 是 AS. , 均 属 于 “一 次 性 探索 ”, 即 
随 着 算法 的 执行 , 某 些 边 的 信息 素 量 变 得 越 来 越 小 , 某 些 路 径 被 选择 的 概率 也 越 来 越 小 ， 
系统 的 探索 范围 不 断 减 小 直至 陷 人 停 清 状态 。 在 MMAS 中 , 当 算 法 接近 或 是 进入 停 清 
状态 时 ,问题 空间 内 所 有 边 上 的 信息 又 浓度 都 将 被 重新 初始 化 ,从 而 有 效 地 利用 系统 进入 
停 沾 状态 后 的 迭代 周期 继续 进行 搜索 ,使 算法 具有 更 强 的 全 局 寻 优 能 力 。 我 们 通常 通过 
对 各 条 边 上 信息 素 量 大 小 的 统计 或 观察 算法 在 指定 次 数 的 迭代 内 至 今 最 优 路 人 径 有 无 被 更 
新 来 判断 算法 是 否 停滞 。 

在 本 小 节 的 最 后 ,我们 指出 ,最 大 最 小 蚂蚁 系统 具有 和 较 之 前 各 种 版 本 的 蚂蚁 系统 更 好 
的 性 能 ,是 最 受 关注 的 ACO 算法 之 一 , 它 对 基本 AS 算法 引入 的 四 项 改进 规则 或 思想 常 
常 被 后 续 的 各 种 ACO 算法 借鉴 。 


534 蚁 群 系统 
前 面 我 们 已 经 介绍 了 三 种 改进 版 本 的 AS 算法 : 精华 蚂蚁 系统 、 基 于 排列 的 蚂蚁 系 
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计算 智能 
统 和 最 大 最 小 蚂蚁 系统 ,它们 均 是 对 基本 蚂 凡 系统 的 信息 素 更 新 规则 做 了 少量 的 修改 而 


获得 了 更 好 的 性 能 。1997 F, 蚁 群 算法 的 创始 人 Dorigo 在 Ant colony system: a 
cooperative learning approach to the traveling salesman problem 一 文 ! 中 提出 了 一 种 
具有 全 新 机 制 的 ACO 算法 一 一 蚁 群 系统 (Ant Colony System, ACS), 进 一 步 提 高 了 
ACO 算法 的 性 能 。ACS 是 蚁 群 算法 发 展 史 上 的 又 一 里 程 碑 式 的 作品 ,我 们 在 这 一 小 节 
详细 介绍 蚊 群 系统 的 工作 流程 。 

ACS 与 蚂蚁 系统 的 不 同 主 要 体现 在 三 个 方面 : (1) 使 用 一 种 伪 随 机 比例 规则 
(pseudorandom proportional) 选 择 下 一 城市 节点 , 建 
立 开 发 当前 路 径 与 探索 新 路 人 径 之 间 的 平衡 (2) 信 息 
素 全 局 更 新 规则 只 在 属于 至 今 最 优 路 径 的 边 上 蒸发 
和 释放 信息 素 。(3) 新 增 信 息 素 局 部 更 新 规则 , 蚂 必 
每 次 经 过 空间 内 的 某 条 边 , 它 都 会 去 除 该 边 上 一 定 
量 的 信息 素 , 以 增加 后 续 蚂 蚁 探索 其 余 路 笃 的 可 
能 性 。 对 每 只 蚂蚁 ， 随 机 选择 一 个 

一 般 来 说 ,ACS 是 这 样 工 作 的 : 将 m 只 蚂蚁 随 
机 或 是 均匀 地 分 布 在 n 个 城市 上 ,然后 每 只 蚂蚁 根 
据 状 态 转移 规则 确定 下 一 步 要 去 的 城市 。 蚂 天 倾 回 
于 选择 信息 素 浓 度 高 且 距 离 短 的 路 径 。 蚂 蚁 被 设 定 
为 是 有 记忆 的 ,每 只 蚂蚁 都 配 有 一 张 搜索 禁忌 表 , 在 
每 轮 的 遍历 中 ,它们 不 会 去 到 目 己 已 经 经 过 的 城市 ， 
且 单 个 蚂蚁 在 遍历 过 程 中 会 在 它们 经 过 的 路 径 上 进 
行 信息 素 局 部 更 新 。 在 每 轮 所 有 的 蚂 尽 均 完 成 汉 密 
尔 顿 回 路 的 构造 后 , 需 记 录 下 这 些 回 路 中 最 短 的 一 
条 ,并 按照 信息 素 全 局 更 新 规则 增加 这 条 路 径 上 的 
信息 素 。 此 后 算法 反复 迭代 直至 满足 终止 条 件 。 Sa 
图 5.5 是 ACS 求 解 旅行 商 问 题 的 流程 图 ,如 遗传 算 
法 中 有 选择 .交叉 和 变异 三 大 基本 算 子 一 样 ,ACS 中 
有 状态 转移 规则 、 信 息 素 全 局 更 新 规则 和 信息 素 局 
部 更 新 规则 三 大 核心 规则 , 接 下 来 我 们 将 一 一 介绍 。 

1. 状态 转移 规则 

在 ACS 中 ,位 于 某 个 城市 i 的 某 蚂蚁 & 会 根据 定义 5.2 所 示 的 伪 随 机 比例 规则 选择 
下 一 个 城市 节点 jo 

定义 5.2 ACS 中 的 伪 随 机 比例 规则 (pseudorandom proportional); 对 于 每 只 蚂蚁 
& ,路 径 记 忆 回 量 R* 按照 访问 顺序 记录 了 所 有 & 已 经 经 过 的 城市 序号 。 设 蚂蚁 有 & 当前 所 
在 城市 为 i, 则 下 一 个 访问 城市 

| arg maxjey,@{LtG.j) ]»LyG.j) Jf}, qS qo 
j= (5.5) 
S 其 他 
其 中 ,J (让 表示 从 城市 i 可 以 直接 到 达 的 且 又 不 在 蚂蚁 访问 过 的 城市 序列 R* 中 的 城市 


出 发 城市 


是 


状态 转移 规则 


信息 系 局 部 更 新 规则 


图 5.5 ACS 求 解 TSP 的 流程 图 
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集合 。n(i, 站 是 启发 式 信 息 ,t(i, 丫 表 示 边 (i, 7 ) 上 的 信息 素 量 。B 是 描述 信息 素 浓 度 和 
路 径 长 度 信 息 相 对 重要 性 的 控制 参数 。g。 是 一 个 L0, 1 区 间 内 的 参数 , 当 产 生 的 随机 数 
qd 过 do 时 ,蚂蚁 直接 选择 使 启发 式 信 息 与 信息 素 量 的 8 指数 乘积 最 大 的 下 一 城市 节点 ,我 
们 通常 称 之 为 开发 (exploitation) ;反之 , 当 产 生 的 随机 数 q>q 时 ,ACS 将 和 各 种 AS 算 
法 一 样 使 用 轮 盘 赌 选择 策略 ,公式 (5.6) 是 位 于 城市 i 的 蚂蚁 选择 城市 7 作为 下 一 个 访 
问 对 象 的 概率 ,我 们 通常 将 qg >q 时 的 算法 执行 方式 称 为 偏向 探索 (biased exploration) . 


[Dy PP ge Gy 
. 。 V7]p 
PeGsj) = Ji Pew IG] i 
N 其 他 


qo 是 ACS 中 引入 的 一 个 很 重要 的 控制 参数 ,在 ACS 的 状态 转移 规则 中 ,蚂蚁 选择 当 
前 最 优 移动 方向 的 概率 为 qo, 同时 ,蚂蚁 以 (1 一 go) 的 概率 有 偏向 地 搜索 各 条 边 。 通 过 调 
BE g ,我 们 能 有 效 调节 “开发 ”与 “探索 ”之 间 的 平衡 ,以 决定 算法 是 集中 开发 最 优 路 径 附 
近 的 区 域 ,还 是 探索 其 他 的 区 域 , 如 图 5.6 TAN o 


图 5.6 ACS 中 的 “开发 ”与 “探索 ” 


2. 信息 素 全 局 更 新 规则 

在 ACS 的 信息 素 全 局 更 新 规则 中 ,只 有 至 今 最 优 蚂蚁 (构建 出 了 从 算法 开始 到 当前 
迭代 中 最 短路 径 的 蚂蚁 ) 被 允许 释放 信息 素 ,这 个 策略 与 伪 随 机 比例 状态 转移 规则 一 起 作 
用 ,大 大 地 增强 了 算法 搜索 的 导向 性 。 在 每 轮 的 迭代 中 ,所 有 蚂蚁 均 构 建 完 路 径 后 ,信息 
素 全 局 更 新 规则 才 被 使 用 ,由 下 面 的 公式 给 出 : 

trli j) = (1—p) * tlij) +p. AnG.j), WG.j) ET (5.7) 

其 中 Ar (i,j) 二 1/C,。 要 强调 的 是 ,不 论 是 信息 素 的 蒸发 还 是 释放 ,都 只 在 属于 至 今 最 优 
路 径 的 边 上 进行 ,这 里 与 AS 有 很 大 的 区 别 。 因 为 AS 算法 将 信息 素 的 更 新 应 用 到 了 系 
统 的 所 有 边 上 ,信息 素 更 新 的 计算 复杂 度 为 O), m ACS 算法 的 信息 素 更 新 计算 复杂 
度 降 低 为 On). S$ o 代表 信息 素 蒸发 的 速率 ,新 增加 的 信息 素 At, oj) BFE LAK o 
后 ,更 新 后 的 信息 素 浓 度 被 控制 在 旧 信 息 素 量 与 新 释放 的 信息 素 量 之 间 ,用 一 种 隐 含 的 又 
更 简单 的 方式 实现 了 MMAS 算法 中 对 信息 素 量 取 值 范围 的 限制 。 

同样 ,我 们 需要 考虑 在 ACS 中 使 用 迭代 最 优 更 新 规则 和 至 今 最 优 更 新 规则 对 算法 性 
能 造成 的 影响 。 实 验 结果 表明 ,在 优化 小 规模 的 TSP 实例 时 ,和 迭代 最 优 更 新 和 至 今 最 优 
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更 新 两 者 得 到 差不多 的 求解 精度 和 收敛 速度 ;然而 , 随 着 城市 数目 的 增多 ,使 用 至 今 
更 新 规则 的 优势 越 来 越 大 ; 当 城 市 数目 超过 100 时 ,使 用 至 今 最 优 更 新 规则 的 性 能 远 
于 使 用 迭代 最 优 更 新 规则 ,这 与 MMAS 是 类 似 的 。 

3. 信息 素 局 部 更 新 规则 

ACS 在 AS 的 基础 上 进行 的 男 一 项 重大 改进 是 信息 素 局 部 更 新 规则 的 引入 。 在 路 径 
构建 过 程 中 ,对 每 一 只 蚂蚁 ,每 当 其 经 过 一 条 边 (i, 7) 时 , 它 将 立刻 对 这 条 边 进行 信息 素 
的 更 新 ,更 新 所 使 用 的 公式 如 下 : 

TCi j) = (1 — £) erli j) FÊ” To (5.8) 
其 中 ,& 是 信息 素 局 部 挥发 速率 ,满足 0 一 上 一 1。r 是 信息 素 的 初始 值 。 通 过 实验 我 们 发 
现 ,& 为 0.1,5 取 值 为 1/(zC”) 时 ,算法 对 大 多 数 实例 有 着 非 稼 好 的 性 能 。 其 中 7 为 城市 
个 数 ,C” 是 由 贪 焚 算 法 构造 的 路 径 的 长 度 。 

由 于 tm =1/(nC™) <i, 1) ,公式 (5.8) 所 计算 出 来 的 更 新 后 的 信息 素 相 比 更 新 前 减 
少 了 ,也 就 是 说 ,信息 素 局 部 更 新 规则 作用 于 某 条 边 上 会 使 得 这 条 边 被 其 他 蚂蚁 选 中 的 概 
率 减 少 。 这 种 机 制 大 大 增加 了 算法 的 探索 能 力 , 后 续 蚂 蚁 倾 问 于 探索 未 被 使 用 过 的 边 ,有 
效 地 避免 了 算法 进入 停 清 状态 。 

在 前 面 对 AS 的 介绍 中 我 们 曾 提 到 过 顺序 构建 和 并 行 构建 两 种 路 径 构建 方式 ,对 于 
AS 算 法 ,不 同 的 路 径 构 建 方式 不 会 影响 算法 的 行为 。 但 对 于 ACS, 由 于 信息 素 局 部 更 新 
规则 的 引入 ,两 种 路 径 构 建 方 式 会 造成 算法 行为 的 区 别 , 通 常 我 们 选择 让 所 有 蚂蚁 并 行 地 
工作 ,如 图 5.7 所 示 。 


最 优 
远 优 


/ / 
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图 5.7 ACS 中 的 顺序 构建 与 并 行 构建 


在 本 小 节 的 最 后 ,我 们 指出 ,ACS 的 前 身 是 1995 年 Gambardella 和 Dorigo 提出 的 
Ant-Q 算法 ,ACS 与 Ant-Q 的 区 别 仅 在 于 ro 的 取 值 。 在 ACS 中 二 1/ (nC™ ) 为 常 
量 , 但 在 之 前 提出 的 AntQ 算法 中 r 依据 剩余 可 访问 边 中 最 高 的 信息 素 量 定义 。 当 人 们 
发 现 把 to 置 为 一 个 很 小 的 常数 值 亦 能 达到 相当 的 性 能 时 ,Ant-Q 被 淘汰 掉 了 。 我 们 在 这 
里 只 是 想 说 明 , 对 于 致力 于 科学 人 研究 的 人 来 说 ,KISS 是 最 基本 的 思考 方法 。KISS 方法 来 
源 于 美国 的 军队 用 语 , 当 部 下 做 得 不 好 的 时 候 , 长 官 就 会 大 声 训 奈 “Keep It Simple. 
Stupid!”, 意 思 是 “简单 点 ,笨蛋 !”, 在 工程 学 和 科研 中 ,这 也 是 非常 适用 的 。 


53.5 蚁 群 算法 的 其 他 改进 版 本 
从 第 一 个 蚂蚁 系统 诞生 至 今 , 蚁 群 优化 算法 已 经 发 展 了 近 20 年 ,从 意大利 的 一 个 实 
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验 室 传播 到 了 全 世界 千 千 万 万 的 实验 室 中 。 改 群 算法 作为 一 种 新 兴 的 仿生 学 算法 ,有 着 
鲁 棒 性 强 、 分 布 式 并 行 计 算 .易于 与 其 他 方法 结合 等 优点 ,但 由 于 其 搜索 时 间 较 长 、. 易 于 陷 
入 局 部 最 优 , 算 法 还 有 待 进一步 的 改进 。 前 面 ,我 们 介绍 了 精华 蚂蚁 系统 .基于 排列 的 蚂 
尽 系统 .最 大 最 小 蚂蚁 系统 以 及 蚊 群 系统 ,它们 大 多 由 尽 群 优化 的 创始 人 Dorigo 以 及 在 
蚁 群 优化 界 有 着 杰出 贡献 的 Stiitzle 等 人 提出 ,是 经 典 的 蚁 群 算法 改进 版 本 ,是 全 世界 学 
者 们 源源 不 断 的 灵感 的 源 果 。 之 后 世界 上 又 出 现 了 许多 新 的 算法 改进 设计 ,本 小 节 将 介 
绍 这 些 改 进 设 计 , 包 括 一 些 离散 域 蚁 群 算法 的 改进 人 研究 ,以 及 连续 域 蚁 群 算法 的 改进 人 研 
究 , 希 望 对 有 兴趣 进一步 研究 ACO 算法 的 读者 或 优化 算法 爱好 者 有 所 启发。 

1. 近似 非 确定 性 树 搜索 (Approximate Nondeterministic Tree Search. ANTS) 

ANTS 的 名 字 来 源 于 这 种 算法 类 似 一 种 近似 非 确定 性 树 搜索 ,ANTS 在 三 个 方面 对 
AS 算法 进行 了 修改 : 它 使 用 部 分 解 的 完全 代价 佑 计 的 下 界 来 计算 各 边 的 司 发 式 信 息 ; 它 
使 用 加 法 而 非 乘 法 来 实现 局 发 式 信 息 与 信息 素 的 结合 ;没有 直观 的 信息 素 蒸 发 步骤 ,信息 
素 增 加 量 的 计算 公式 也 与 之 前 各 种 ACO 算法 很 大 不 同 。ANTS 算法 在 它 的 第 一 租 文 献 
以 及 后 续 人 研 究 中 ,很 少 有 被 应 用 于 TSP, 大 多 数 有 关 ANTS 的 文献 都 关注 于 二 次 分 配 问 
题 , 它 在 这 个 领域 中 有 着 很 好 的 计算 结果 一 。 

2. 多 态 蚁 群 算法 (Polymorphic Ant Colony Algorithm, PACA) 

实际 上 ,自然 界 中 的 蚁 群 是 有 组 织 有 分 工 的 ,这 种 自 组 织 分 工 方式 对 蚁 群 完成 复杂 的 
任务 起 着 十 分 重要 的 作用 。 我 国 的 徐 精 明 等 人 在 文献 L34] 中 提出 了 一 种 多 态 蚁 群 算法 ， 
将 蚁 群 中 的 蚂蚁 分 为 三 类 : MERN .搜索 蚁 和 工 蚁 。 侦 查 蚁 的 任务 是 在 算法 初期 以 每 个 
城市 为 中 心 做 局 部 区 域 观察 ,并 将 侦查 结果 与 已 有 的 先 验 知识 结合 ,生成 侦查 素 ,问题 空 
间 内 各 边 的 初始 信息 又 量 与 侦查 素 有 关 。 搜 索 蚊 是 各 类 传统 蚁 群 算 法 通常 所 指 的 蚂蚁 ， 
它 根据 局 发 式 信息 和 信息 素 选 择 下 一 城市 节点 ,直至 构建 出 最 佳 路 径 。 工 蚊 只 负责 从 已 
经 找到 的 最 优 路 径 上 搬运 食物 ,与 算法 最 优 路 径 的 寻找 无 关 。 文 献 L34] 中 选用 TSPLIB 
中 的 Oliver30 作为 仿真 实例 ,对 PACA 与 AS 进行 性 能 的 对 比 ,实验 结果 表明 ,在 搜索 到 
相同 结果 的 情况 下 ,PACA 所 需 的 和 迭代 次 数 比 基本 AS 要 少 很 多 。 

3. RAAT AY Wl BS HK (Clustering Processing Ant Colony Algorithm ,CPACA) 

我 们 知道 BS HES TAS OT OS fR te ÍT Ra Wad ek Ay IE FEA SS HEE. AK, , GOR RK 
们 找到 一 种 方式 ,将 大 规模 的 TSP 分 解 为 小 规模 子 问 题 分 别 用 蚁 群 算法 进行 求解 ,再 将 
各 个 小 规模 子 问题 的 解 合 并 , 便 可 高 效 地 得 到 原 待 求解 问题 的 解 。CPACA 就 是 这 样 一 
种 方法 , 它 对 城市 空间 进行 聚 类 处 理 , 在 每 一 个 类 中 用 蚁 群 算法 求 得 类 内 最 短路 径 , 随 后 
将 各 个 类 的 中 心 看 成 一 个 TSP 也 用 蚁 群 算法 求解 得 类 间 最 短路 人 径 , 最 后 确定 每 个 类 的 边 
界 城市 ,通过 边界 城市 将 各 个 类 连接 起 来 。 文 献 L35j] 中 的 实验 结果 表明 ,CPACA 的 性 能 
优 于 基本 蚁 群 算法 。CPACA 示意 图 如 图 5. 8 所 示 。 

4. 连续 正 交 蚊 群 算法 (Continuous Orthogonal Ant Colony. COAC) 

近年 来 ,将 应 用 领域 扩展 到 连续 空间 的 蚁 群 算法 也 在 发 展 , 连 续 正 交 蚊 群 就 是 其 中 比 
较 优 秀 的 一 种 。COAC 通过 在 问题 空间 内 上 自 适 应 地 选择 和 调整 一 定数 量 的 区 域 ,并 利用 
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图 5.8 CPACA 示意 图 


蚂蚁 在 这 些 区 域内 进行 正 交 搜索 ,在 区 域 间 进行 状态 转移 ,并 更 新 各 个 区 域 的 信息 素来 搜 
索 问 题 空间 中 的 最 优 解 。COAC 的 基本 思想 是 利用 正 交 试 验 的 方法 将 连续 空间 离散 化 。 
文献 [29 ] 中 的 实验 结果 表明 , COAC 的 性 能 优 于 之 前 的 连续 蚁 群 算法 APIS! 和 
CACO526] 。 


5.4 峻 群 优化 算法 的 相关 应 用 


WHE DECI A 1991 年 由 Dorigo 提出 并 应 用 于 TSP 问题 以 来 ,已 经 发 展 了 近 20 
年 。 由 于 具有 和 鲁 棱 性 强 、 全 局 搜索 、 并 行 分 布 式 计算 、 吻 与 其 他 方法 结合 等 优点 ,近年 来 
ACO 的 应 用 领域 不 断 扩张 ,如 车 间 调 度 问 题 \ 车 辆 路 径 问 题 分配 问 题 . 子 集 问题 、 网 络 路 
FH We) elt. E A E Dd ve 数据 挖掘、 图像 识 别 、 系 统 辨 识 等 。 这些 问题 大 多 是 NP 难 的 组 
合 优化 问题 ,用 传统 算法 难以 求解 或 无 法 求解 ,各 种 蚁 群 算法 及 其 改进 版 本 的 出 现 ,为 这 
些 难题 提供 了 有 效 而 高 效 的 解决 手段 。 

本 节 将 列举 ACO 的 经 典 应 用 ,有 兴趣 致力 于 蚁 群 优化 应 用 研究 的 读者 或 是 算法 爱 
好 者 可 以 进一步 深入 地 阅读 我 们 列 出 的 参考 文献 。 

1. 车 间作 业 调 度 问 题 

车 间作 业 调 度 问 题 (Job-Shop Scheduling Problem,JSP) 是 生产 与 制造 业 的 核心 问 
题 , 它 的 本 质 是 在 时 间 上 合理 地 分 配 系 统 的 有 限 资 源 ,以 达到 特定 的 目标 。 典 型 的 JSP 
包括 一 个 待 加 工 的 零件 集合 ,每 种 零件 都 有 一 个 工序 集合 ,为 了 完成 各 个 工序 , 震 要 在 多 
台 机 逢 上 执行 操作 。 调 度 的 目的 就 是 为 各 个 零件 合理 地 分 配 机 床 等 资源 ,合理 地 安排 加 
工时 间 ,在 满足 一 些 现实 约束 条 件 的 同时 ,达到 某 些 目标 的 最 优化 。 车 间 调 度 问 题 是 一 个 


Om MEHR 


NP ME la) eh. 55 AY PPR I & N EAE ee Ef BE AB [A] SS HN TSP 时 所 表现 出 来 的 性 
能 也 往往 有 一 些 差 异 。 不 过 总 的 来 说 ,ACO 是 针对 ISP 的 各 种 求解 方法 中 非常 优秀 的 一 
种 ,JSP 在 ACO 的 应 用 研究 中 处 于 一 个 比较 核心 的 地 位 ,如 表 5. 3 所 示 。 


表 5.3 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 


单机 器 总 权重 延迟 问题 [41]~[43] 
an u 

机 需 总 延迟 问题 dependent setup times, SMTTPDST 

ethers es 


2. 车 辆 路 径 问 题 

车 辆 路 径 问 题 (Vehicle Routing Problem,VRP) 是 运输 组 织 优 化 的 核心 问题 , 它 的 一 
般 描 述 是 : 对 一 系列 指定 的 客户 ,确定 车 辆 配送 行驶 路 线 , 使 得 车 辆 从 贷 仓 出 发 ,有 序 地 
经 过 一 系列 客户 点 ,并 返回 贷 仓 。 要 求 在 满足 一 定 约束 的 条 件 下 (如 车 辆 载重 、 客 户 需 求 、 
时 间 窗 等 ) ,使 总 运输 成 本 最 小 。 从 VRP 的 定义 中 我 们 不 难 发 现 , VRP 实际 上 包含 了 
TSP 作为 它 的 子 问 题 ,VRP 也 是 一 个 NP 难 问题 , 且 它 涉及 了 更 多 的 约束 , 比 TSP 更 难 
解 。 近 年 来 ,学 者 们 对 利用 蚁 群 优化 算法 解决 各 种 VRP 问题 进行 了 大 量 的 研究 ,取得 了 
丰富 的 成 果 , 如 表 5.4 所 示 。 

R54 改 群 优化 算法 在 车 辆 路 径 问 题 中 的 应 用 


有 容量 限制 的 VRP Capacitated vehicle routing problem, CVRP [47]~L49] 
多 车 场 VRP Multi-depot vehicle routing problem, MDVRP [50] 
周期 性 VRP Period vehicle routing problem, PVRP [51] 

分 离 配 送 VRP Split delivery vehicle routing problem, SDVRP [52] 

随机 需求 VRP Stochastic vehicle routing problem,SVRP [53 ] 

集 货 送 货 一 体 化 VRP Vehicle routing problem with pick-up and delivery, VRPPD | L54J]L55] 
有 时 间 窗 的 VRP Vehicle routing problem with time windows, VRPTW [54]~L58] 


其 他 


Others 


oF 


(= 
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3. 其 他 方面 的 应 用 

当今 蚁 群 优化 算法 的 应 用 领域 非常 地 广泛 , 表 5.5 列 出 了 ACO 算法 在 分 配 问 题 、 网 
络 路 由 问题 子 集 问题 .最短 公 共 超 序列 问题 、 二 维 格 模型 重 日 质 折合 问题 ,数据 挖掘 、 图 
像 处 理 .系统 辨识 等 各 个 应 用 领域 的 相关 参考 文献 。 


R55 蚁 群 优化 算法 在 其 他 方面 的 应 用 


分 配 问题 
二 维 格 模型 蛋 日 质 折 释 问题 2D HP protein folding problem, 2D-HP-PFP [77] 
数据 挖掘 Data mining [78][79] 


图 像 处 理 Imagine processing [80 ][81 ] 
系统 辨识 System identification [82][83] 
其 他 Others ws。 


5.5 峻 群 优 化 算法 的 参数 设置 


前 面 的 章节 已 经 提 到 ,参数 的 设置 对 蚁 群 优化 算法 的 搜索 性 能 有 独 较 大 影响 。 在 这 
一 节 我 们 简要 讨论 ACO 中 各 个 参数 的 意义 以 及 经 验 设置 。 表 5.6 所 示 的 是 绝 大 多 数 
ACO 算法 都 具有 的 参数 变量 的 设置 , 表 5.7 所 示 的 是 某 些 ACO HIE PHAN AMS 
数 变量 的 设置 。 


参数 


蚂蚁 数目 m 


信息 素 权重 
a 与 启发 式 
信息 权重 


信息 素 挥 发 
At p 


初始 信息 素 
量 To 


终止 条 件 


参 K 
释放 信息 素 的 蚂蚁 个 数 w 


进化 停滞 判定 代数 rs 


信息 素 局 部 挥发 因子 


伪 随 机 因子 qo 


Som MANKA 


表 5.6 各 种 蚁 群 优 化 算法 共有 参数 的 经 验 设置 


参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


J 


ee o < 


影响 着 算法 的 搜索 能 力 和 计算 量 。 

蚂蚁 数目 过 多 时 ,每 轮 和 迭代 的 计算 量 大 、 且 被 搜索 过 的 路 径 上 信息 素 变 化 比较 平 
均 ,此 时 算法 的 全 局 随机 搜索 能 力 得 到 增强 ,但 收敛 速度 减 慢 。 

蚂蚁 数目 过 少时 ,算法 的 探索 能 力 变 差 ,容易 出 现 早 熟 现象 。 特 别 是 当 问 题 规 模 很 
大 时 ,算法 的 全 局 寻 优 能 力 会 变 得 十 分 糟糕 。 

Dorigo 等 人 的 实验 [0 表明 ,在 用 AS. EAS, AS, ws 和 MMAS 求 解 TSP 问题 时 ,m 取 
值 等 于 城市 数目 ”算法 有 较 好 性 能 ;而 对 于 ACS.m=10 比较 合适 


决定 算法 搜索 的 导向 ,影响 算法 的 搜索 能 力 。 

a 越 小 ,最 邻近 城市 被 选中 的 概率 越 大 ,蚂蚁 越 注重 “眼前 利益 ”"。a 二 0 时 ,算法 等 
同 于 随机 贪 禁 算 法 。 

8 越 小 ,蚂蚁 越 倾 向 于 根据 信息 素 浓 度 确定 路 径 , 算 法 收敛 越 快 。8=0 时 ,构建 出 
的 最 优 路 径 与 实际 目标 有 着 较 大 差异 ,算法 的 性 能 比较 糟糕 。 

Dorigo 等 人 的 实验 "表明 ,在 各 类 ACO 算法 中 设置 a= 1,8=2~5 比较 合适 


影响 蚂蚁 个 体 之 间 相 互 影 响 的 强 弱 ,关系 到 算法 的 全 局 搜索 能 力 和 收敛 速度 。 

P 较 大 时 ,信息 素 挥发 速率 大 ,那些 从 未 被 蚂蚁 选择 过 的 边 上 的 信息 素 急剧 减 小 到 
接近 0, 降低 算法 的 全 局 探索 能 力 。 

P 较 小 时 ,算法 具有 较 高 的 全 局 搜索 能 力 ,但 是 由 于 各 个 路 径 的 信息 素 浓度 差距 拉 
大 较 慢 ,算法 收敛 速度 较 慢 。 

Dorigo 等 人 的 实验 59 表明 ,对 于 AS 和 EAS,p 二 0.5; 对 于 ASau o= 0. 1; X} F 
MMAS,p 二 0.02; 对 于 ACS,p 二 0.1, 算 法 的 综合 性 能 较 高 


决定 算法 在 初始 化 阶段 的 探索 能 力 ,影响 算 法 的 收敛 速度 。 

to 太 小 ,未 被 蚂蚁 选择 过 的 边 上 信息 素 太 少 ,蚂蚁 很 快 就 全 部 集中 在 一 条 局 部 最 优 
的 路 径 上 ,算法 容易 早熟 。 

to 太 大 ,信息 素 对 搜索 方向 的 引导 能 力 增 长 得 十 分 缓慢 ,算法 收敛 慢 。 

Dorigo A AY ae HER. 对 于 AS, to =m/C™ ;对 于 EAS, to = (e+ m)/pC™ ;对 
于 ASynk »T = 0. 5r(r—1)/oC™ ; Xt F MMAS, to = 1/0C™ ;对 于 ACS, to =1/nC™ 
(各 个 变量 符号 的 定义 与 本 章 5.2 节 和 5. 3 节 中 所 述 一 致 ) 


决定 算法 运行 何 时 结束 ,由 具体 的 应 用 和 问题 本 身 确定 。 

将 最 大 循环 数 设 定 为 500.1000、5000 ,或 者 最 大 的 函数 评估 次 数 , 等 等 。 
也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作 为 终止 条 件 。 

或 者 是 当 算 法 在 很 长 一 段 迭 代 中 没有 得 到 任何 改善 时 ,可 以 终止 算法 


表 5.7 蚁 群 优 化 算法 中 其 他 一 些 经 典 参数 的 经 验 设置 


参考 设置 J 表示 参数 的 意义 。 表示 参数 的 经 验 设置 
J 影响 算法 的 全 局 搜索 能 力 和 收敛 速度 。 

。 在 AS 中 ,参数 w 设 置 为 w 王 6 

J 影响 算法 的 全 局 搜索 能 力 。 

。 在 MMAS 中 ,参数 rs 设置 为 rs 二 25 

J 决定 蚂蚁 搜索 时 相互 影响 的 强度 ,影响 算法 的 全 局 搜索 能 力 。 

。 在 ACS 中 ,参数 8 设置 为 &==0.1 

决定 算法 “开发 ”与 “探索 ”的 相互 关系 ,影响 算法 的 全 局 搜索 能 力 


和 收敛 速度 。 
。 在 ACS 中 ,参数 q 设置 为 q=0.9 


a 
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56 本 章 习 题 
1. 请 指出 蚁 群 优化 算法 的 基本 思想 来 源 。 
2. 请 绘制 蚂蚁 系统 的 流程 图 ,并 描述 算法 执行 过 程 的 基本 步骤 。 
3. 尽 群 系统 在 蚂蚁 系统 的 基础 上 新 添加 的 信息 又 局 部 更 新 规则 有 什么 作用 ? 
4. 随机 比例 规则 和 伪 随 机 比例 规则 的 区 别 是 什么 ?” 思考 为 什么 尽 群 系统 要 使 用 伪 
随机 比例 规则 ? 
5. 通过 查阅 相关 参考 文献 ,了 解 蚁 群 优化 算法 在 车 间 调 度 问 题 中 的 应 用 ,并 完成 
# 5.8. 
表 5.8 车 间 调 度 问 题 与 蚁 群 优 化 算法 中 各 要 素 的 对 应 
车 间 调 度 问 题 蚁 群 优 化 算法 

零件 

机 床 

工序 

操作 

加 工时 间 
6. 如 果 现 在 有 人 辣 你 请 教 蚁 群 优化 算法 的 应 用 领域 有 哪些 ,你 将 如 何 癌 他 介绍 ? 
7. 试 描述 在 ACO 中 参数 a bo 对 算法 性 能 的 影响 。 
8. 上 机 编写 完整 的 ACO 程序 ,实现 对 例 5. 1 完整 的 求解 。 
9. (开放 性 问题 ) 对 于 蚁 群 优化 算法 ,你 能 目 己 设计 出 一 种 改进 方案 吗 ? 
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普通 高 校本 科 计 算 机 专业 


粒子 群 优化 算法 


乌 群 , 鱼 群 的 迁徙 、 现 食 等 群体 行 
力 是 一 个 优化 现象 吗 ? 是 一 种 优化 行为 
吗 ? 这 能 够 为 我 们 设计 最 优化 算法 提供 


GR ERITI- MARSIT 
为 属于 群体 智能 行为 ， 本 身 是 一 个 
最 优化 的 过 程 。 通 过 模拟 这 些 群 体 
智能 行为 ， 并 融入 社会 心理 学 的 个 
体 认 知 和 社会 影响 等 概念 ， 研 究 者 
提出 了 一 种 称 为 粒子 群 优 化 算法 
(Particle Swarm Optimization, PSO) 


的 群体 智能 算法 。 


大 自然 是 我 们 的 老师 ,生物 进化 过 程 、 群 体 智能 活动 等 为 我 们 设计 一 个 又 一 个 的 
优化 算法 提供 了 灵感 的 源 果 。 粒 子 群 优化 算法 (Particle Swarm Optimization, PSO) 就 
是 仿生 算法 的 一 个 著名 代表 。 它 是 一 种 模拟 目 然 界 的 生物 活动 以 及 群体 智能 的 随机 
搜索 算法 。 因 此 粒子 群 优化 算法 一 方面 吸取 了 人 工 生命 (Artificial Life) , 5 i w A 
( Birds Flocking) 、 包 群 学 习 (Fish Schooling) 和 和 群 理论 (Swarm Theory) 的 思想 , 男 一 方 
面 又 具有 进化 算法 的 特点 ,和 遗传 算法 、 进 化 策略 、 进 化 规划 等 算法 有 相似 的 搜索 和 
优化 能 力 。 

本 和 草 将 对 粒子 群 优化 算法 进行 介绍 ,从 算法 的 思想 来 源 、 基 本 流程 改进 版 本 、 算 法 应 
用 和 参数 设置 等 几 个 方面 为 读者 展示 了 PSO 的 有 关 知 识 。 上 有 具体 包括 如 下 的 内 容 : 

。 粒子 群 优化 算法 的 基本 思想 ; 

。 粒子 群 优化 算法 的 基本 流程 ; 

。 粒子 群 优化 算法 的 改进 版 本 ; 

。 粒子 群 优化 算法 的 相关 应 用 ，; 

。 粒子 群 优化 算法 的 参数 设置 。 


6.1 粒子 群 优化 算法 简介 


6.1.1 思想 来 源 


粒子 群 优 化 算法 (Particle Swarm Optimization,PSO)U 作 为 进化 计算 的 一 个 分 支 ， 
是 由 Eberhart 和 Kennedy F 1995 年 提出 的 一 种 全 局 搜索 算法 ,同时 它 也 是 一 种 模拟 目 
然 界 的 生物 活动 以 及 群体 智能 的 随机 搜索 算法 。 因 此 粒子 群 优 化 算法 一 方面 吸取 了 人 工 
生命 (Artificial Life) , 6 # m (Birds Flocking)、 鱼 群 学 习 (Fish Schooling) 和 群 理论 
(Swarm Theory) 的 思想 , 男 一 方面 又 具有 进化 算法 的 特点 ,和 遗传 算法 、 进 化 策略 、 进 化 
规划 等 算法 有 相似 的 搜索 和 优化 能 力 。 

粒子 群 优化 算法 的 发 明 , 可 以 说 是 Eberhart 和 Kennedy 在 借鉴 前 人 科学 家 对 自然 界 
生物 群体 活动 的 认识 以 及 这 些 活动 行为 计算 机 可 视 化 仿真 的 基础 上 ,并 与 各 自 的 研究 音 
景 知识 相 结 合 的 产物 。Eberhart 是 一 位 电子 电气 工程 师 ,Kennedy 是 一 名 社会 心理 学 
家 ,他 们 在 合作 人 研究 PSO 的 时 候 , 目 的 就 是 为 了 将 社会 心理 学 上 的 个 体 认 知 、 社 会 影响 、 
群体 智 意 等 思想 融入 到 组 织 性 和 规律 性 很 强 的 群体 行为 中 ,开发 一 个 可 以 用 于 工程 实践 
的 优化 模型 和 优化 工具 。 

在 动物 的 群体 行为 中 ,科学 家 们 很 早 就 发 现 了 自然 界 的 乌 群 . 兽 群 、 鱼 群 等 在 其 迁徙 、 
捕食 过 程 中 (如 图 6. 1 所 示 ) ,往往 表现 出 高 度 的 组 织 性 和 规律 性 。 这 些 现象 受到 了 高 度 
的 重视 和 广泛 的 关注 ,吸引 着 大 批 生物 学 家 、 动 物 学 家 、 计 算 机 科学 家 ,行为 学 家 和 社会 心 
理学 家 等 的 深入 研究 。 例 如 1987 年 ,Reynolds “实现 了 鸟 群 运动 的 计算 机 可 视 化 仿真 。 
1990 年 ,动物 学 家 Heppner 和 Grenander' 生 也 对 动物 的 群体 活动 规律 进行 了 研究 ,包括 
大 规模 群体 同步 聚合 ,突然 地 改变 方向 ,规律 的 分 散 与 重组 等 相关 的 机 制 和 潜在 的 规律 。 
众多 的 研究 成 果 都 为 粒子 群 优 化 算法 的 发 明黄 定 了 思想 来 源 和 理论 基础 。 
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图 6.1 动物 界 中 的 乌 群 . 兽 群 和 鱼 群 


在 群体 智慧 方面 ,社会 心理 学 在 揭示 人 类 以 及 动物 的 群体 活动 过 程 中 所 表现 出 来 
的 智慧 方面 取得 的 研究 成 果 也 被 引入 到 了 PSO e Wilson! 在 20 世纪 70 年 代 就 指 
出 :“ 至 少 在 理论 上 ,在 群体 竟 食 的 过 程 中 ,群体 中 的 每 一 个 个 体 都 会 受益 于 所 有 成 员 
在 这 个 过 程 中 所 发 现 和 累积 的 经 验 .” 因 此 PSO 直接 采用 了 这 一 思想 。Kennedy 和 
Eberhart 站 也 指出 ,他 们 在 设计 PSO 的 时 候 , 除 了 考虑 模拟 生物 的 群体 活动 之 外 ,更 重 
要 的 是 融入 了 了 个体 认 知 (Self-Cognition) 和 社会 影响 (Social-Influence) 这 些 社会 心理 学 
的 理论 。 这 些 也 许 是 Kennedy 在 结合 了 上 自身 研究 领域 的 优势 和 社会 生物 学 家 Wilson 
的 启发 的 成 果 。 后 来 在 1996 年 ,Boyd 和 Richerson5 在 研究 人 类 的 决策 过 程 时 ,也 提出 
了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 研究 结果 ,人 们 在 决策 过 程 中 使 用 两 类 重 
要 的 信息 : 一 是 自身 的 经 验 , 二 是 其 他 人 的 经 验 。 也 就 是 说 ,人 们 根据 自身 的 经 验 和 他 
人 的 经 验 进行 和 目 己 的 决策 。 这 也 给 PSO 的 合理 性 提供 了 男 一 个 佐证 。 

因此 ,粒子 群 优 化 算法 是 一 种 群体 智能 (Swarm Intelligence, SD 算法, 它 结合 了 动物 
的 群体 行为 特性 以 及 人 类 社会 的 认 知 特性 , 它 的 思想 来 源 如 图 6. 2 所 示 。 


6.1.2 基本 原理 


在 上 自然界 马 群 捕食 的 过 程 , 小 乌 们 是 通过 什么 样 的 机 制 找到 食物 的 呢 ? 事实 上 ,捕食 
的 乌 群 都 是 通过 各 目的 探索 与 群体 的 合作 最 终 发 现 食物 所 在 的 位 置 的 。 可 以 考虑 这 样 的 
一 个 情景 ,一 群 分 散 的 马 在 随机 地 飞行 更 食 ,它们 不 知道 食物 所 在 的 具体 位 置 , 但 是 有 一 
个 间接 的 机 制 会 让 小 鸟 知道 它 当 前 位 置 离 食物 的 距离 (例如 食物 香味 的 浓淡 等 )。 于 是 各 
个 小 马 就 会 在 飞行 的 过 程 中 不 断 地 记录 和 更 新 它 曾 经 到 达 的 离 食物 最 近 位 置 , 同 时 ,它们 
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1987 年 ,Reynolds 实现 了 鸟 群 运动 的 计算 机 可 视 化 仿真 ”Wilson 在 20 世 纪 70 年 代 就 指出 :“ 至 少 在 理论 上 ， 
(1) 飞 离 最 近 的 个 体 ， 以 避免 碰撞 ; 在 群体 砚 食 的 过 程 中 , 群体 中 的 每 一 个 个 体 都 会 受益 

\ (2) 飞 向 目标 ; 于 所 有 成 员 在 这 个 过 程 中 的 所 发 现 和 累积 的 经 验 。” 
(3) 飞 向 群体 的 中 心 

1990 年 、 动物 学 家 Heppner Fi] Grenander!” Boyd 和 Richerson!" 在 研究 人 类 的 决策 过 程 时 ， 也 提 

也 对 动物 的 群体 活动 规律 进行 了 研究 出 了 个 体 学 习 和 文化 传递 的 概念 。 根 据 他 们 的 研究 结 
包括 大 规模 群体 同步 聚合 , 突然 地 改变 方向 , 规 ”有 林 ， 人 们 在 决策 过 程 中 使 用 两 志 重 要 的 信息 : 一 是 目 
律 的 分 散 与 重组 等 相关 的 机 制 和 潜在 的 规律 身 的 经 验 ， 二 是 其 他 人 的 经 驻 


HAR SE 
个 体 认 知 


社会 影响 


ATE ait (Artificial Life) 
"3 #¢ ii & (Birds Flocking) 
粒子 群 优化 算法 
鱼 群 学 习 (Fish Schooling) 
1995 年 , Eberhart 和 KennedyD 四 提出 了 粒子 群 优化 算法 群 理论 (Swarm Theory) 


图 6.2 粒子 群 优 化 算法 的 基本 思想 来 源 


通过 信息 交流 的 方式 比较 大 家 所 找到 的 最 好 位 置 , 得 到 一 个 当前 整个 群体 已 经 找到 的 最 
佳 位 置 。 这 样 ,每 个 小 马 在 飞行 的 时 候 就 有 了 一 个 指导 的 方向 ,它们 会 结合 自身 的 经 验 和 
整个 群体 的 经 验 , 调 整 自 己 的 飞行 速度 和 所 在 位 置 ,不 断 地 寻找 更 加 接近 食物 的 位 置 ,最 
终 使 得 群体 聚集 到 食物 位 置 。 

在 粒子 群 优 化 算法 中 , 马 群 中 的 每 个 小 鸟 被 称 为 一 个 “粒子 ” ,通过 随机 产生 一 定 规模 
的 粒子 作为 问题 搜索 空间 的 有 效 解 , 然 后 进行 迭代 搜索 ,得 到 优化 结果 。 和 小 乌 一 样 , 每 
个 粒子 都 具有 速度 和 位 置 , 可 以 由 问题 定义 的 适应 度 困 数 确定 粒子 的 适应 值 , 然 后 不 断 进 
行 迭代 ,由 粒子 本 号 的 历史 最 优 解 和 群体 的 全 局 最 优 解 来 影响 粒子 的 飞行 速度 和 下 一 个 
位 置 ,让 粒子 在 搜索 空间 中 探索 和 开发 ,最 终 找 到 全 局 最 优 解 。 乌 群 驶 食 的 基本 生物 要 素 
和 粒子 群 优 化 算法 的 基本 定义 如 表 6.1 所 示 ,而 图 6.3 则 给 出 了 从 生物 界 的 乌 群 免 食 行 
为 到 粒子 群 优化 算法 的 关系 示意 图 。 


表 6.1 乌 群 砚 食 和 粒子 群 优化 算法 的 基本 定义 对 照 表 


SHAR 粒子 群 优化 算法 
乌 群 搜索 空间 的 一 组 有 效 解 (表现 为 种 群 规模 N) 
RB lal 问题 的 搜索 空间 (表现 为 维 数 D) 
飞行 速度 解 的 速度 向 量 v; = Lui ,vw ，*… ,vi J 
所 在 位 置 解 的 位 置 向 量 x; =La} naif ，… x? ] 


个 体 认 知 与 群体 协作 | 每 个 粒子 i 根据 自身 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 更 新 速度 和 位 置 
找到 食物 算法 结束 ,输出 全 局 最 优 解 
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PRSETER ,它们 不 知道 食物 所 在 的 具体 ENTREI o A IEN i 
位 置 ， 但 是 有 一 个 间接 的 机 制 会 让 小 鸟 知道 它 当 前 位 置 离 食物 称 为 二 个 “粒子 ”， 通 过 随机 产生 一 定 规模 
的 距离 (例如 食物 的 香味 的 浓淡 等 )。 于 是 各 个 小 鸟 就 会 在 飞行 Fe EAT ust 
过 程 中 不 断 地 记录 和 更 新 它 曾 经 到 达 的 离 食物 最 近 位 置 ， URGE AO elit Ie See RY A ERE 

同时 ， 它 们 通过 信息 交流 的 方法 比较 大 家 找到 的 最 好 位 置 ,得 eE, BETA h 
到 一 个 当前 整个 群体 已 经 找到 的 最 佳 位 置 。 这 样 ， 每 个 小 乌 在 解 和 群体 的 全 局 最 优 解 来 影响 粒子 的 速度 和 
飞行 的 时 候 就 有 了 一 个 指导 的 方向 ， 它们 会 结合 自身 的 经 验 和 位 置 ， 让 粒子 在 搜索 空间 中 探索 和 开发 ,最 终 
整个 群体 的 经 验 ， 调 整 自 己 的 飞行 速度 和 所 在 位 置 ， 不 断 地 寻找 到 全 启 最 优 解 。 | ~ 
找 更 加 接近 食物 的 位 置 ， 最 终 使 得 群体 聚集 到 食物 位 置 。 


图 6.3 从 乌 群 更 食 到 粒子 群 优化 算法 的 关系 示意 图 


6.2 ”粒子 群 优化 算法 的 基本 流程 


6.2.1 基本 流程 


ee ad i ore 
FE [alt v; SL v ui oes ur AME et x; 二 [xi oa? ，… ,x?j], 其 中 i 表示 粒子 的 编号 ,D 是 
求解 问题 的 维 数 。 粒 子 的 速度 决定 了 其 bia ah Jr my AL. 而 位 置 则 体现 了 粒子 所 代表 
的 解 在 解 空间 中 的 位 置 ,是 评估 该 解 质 量 的 基础 。 算 法 同时 还 要 求 每 个 粒子 各 目 维 护 一 
个 自身 的 历史 最 优 位 置 问 量 ( 用 pBest 表示 ) ,也 就 是 说 在 进化 的 过 程 中 ,如 果 粒 子 到 达 了 
某 个 使 得 适应 值 更 好 的 位 置 , 则 将 该 位 置 记录 到 该 粒子 的 历史 最 优 癌 量 中 ,而 且 如 果 粒 子 
能 够 不 断 地 找到 更 优 的 位 置 的 话 ,该 回 量 也 会 不 断 地 更 新 。 另 外 ,群体 还 维护 一 个 全 局 最 
优 问 量 , 用 gBest 表示 ,代表 所 有 粒子 的 pBest 中 最 优 的 那个 ,这 个 全 局 最 优 问 量 起 到 引 
守 粒 子 同 该 全 局 最 优 区 域 收敛 的 作用 。 

粒子 群 优化 算法 和 遗传 算法 相 比 ,没有 了 选择 算 子 .交配 算 子 和 变异 算 子 要 ,而 仅仅 
是 通过 速度 更 新 公式 和 位 置 更 新 公式 这 两 个 公式 ( 见 公 式 (6.1) 和 公式 (6.2)) 不 断 地 进化 
而 到 全 局 最 优 解 ,因此 ,PSO 的 原理 和 机 制 更 加 简单 ,算法 实现 也 相对 的 容易 ,运行 效率 
更 高 。PSO 的 算法 步骤 如 下 所 述 : 

C1) 初始 化 所 有 的 个 体 ( 粒 子 ) ,初始 化 它们 的 速度 和 位 置 , 并 且 将 个 体 的 历史 最 优 
pBest 设 为 当前 位 置 ,而 群体 中 最 优 的 个 体 作 为 当前 的 gBest。 

(2) 在 每 一 代 的 进化 中 ,计算 各 个 粒子 的 适应 度 困 数值 。 

(3) 如 果 该 粒子 当前 的 适应 度 图 数值 比 其 历史 最 优 值 要 好 ,那么 历史 最 优 将 会 被 当 
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前 位 置 所 替代 。 
(4) 如 果 该 粒子 的 历史 最 优 比 全 局 最 优 
要 好 ,那么 全 局 最 优 将 会 被 该 粒子 的 历史 最 
TET FAK 
(5) 对 每 个 粒子 i 的 第 d 维 的 速度 和 位 
置 分 别 按照 公式 (6. 1) 和 公式 (6. 2) 进 行 更 
新 。 这 两 个 公式 在 二 维 空间 中 的 关系 如 
图 6.4 所 示 。 
vi = w X vi +c, X rand{ X (pBest? — x$) + cz X randł X (gBest? — x7) (6.1) 
x? = r? + o? (6. 2) 
(6) 如 果 还 没有 到 达 结 束 条 件 , 转 到 (2) ,否则 输出 g Best 并 结束 。 
在 公式 (6. 1) Poo 是 惯量 权重 (Inertia Weight)! ,一般 初始 化 为 0.9, 然 后 随 着 进化 
过 程 线 性 递减 到 0.4;c! Al co 是 加 速 系 数 (Acceleration Coefficients 也 称 学 习 因 子 ) ,传统 
上 都 是 取 固 定 值 2.0;rand? 和 rand? 是 两 个 [0,1] 区 间 上 的 随机 数 。 需 要 注意 的 是 ,在 更 
新 过 程 中 ,PSO 要 求 采 用 一 个 由 用 户 设 定 的 Vs 来 限制 速度 的 范围 ,Vi 的 每 一 维 Vs, 一 
般 可 以 取 相 应 维 的 取 值 范围 的 10% 一 20%。 另 外 公式 (6.2) 中 的 位 置 更 新 必须 是 合法 
的 ,所 以 在 每 次 进行 更 新 之 后 都 要 检查 更 新 后 的 位 置 是 否 在 问题 空间 之 中 ,否则 必须 进行 
修正 ,一 般 的 修正 方法 可 以 是 重新 随机 设 定 或 者 限定 在 边界 。 
PSO 的 流程 图 和 伪 代 码 如 图 6. 5 所 示 。 


Vi gBest 
图 6.4 PSO 中 粒子 的 速度 与 位 置 在 二 维 
空间 中 的 关系 及 更 新 示意 图 


// 功 能 : 粒子 群 优化 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 


随机 初始 化 每 个 粒子 // 参 数 : NW 为 群体 规模 


procedure PSO 
for each particle i 
Viz A ING 4 | i 
评 信 每 个 粒子 并 得 到 全 局 最 优 Initialize velocity Vi and position Xi for 


particle i 

Evaluate particle i and set pBesti= Xi 
end for 
gBest=min{pBesti} 
while not stop 

for i=l to N 


是 一 渗 足 结束 条 件 


更 新 每 个 粒子 的 速度 和 位 置 


Update the velocity and position of 


评估 每 个 粒子 的 函数 适应 值 0 
aluate particle i 
if fit (Xi)< fit (pBesti) 
pBesti= Xi; 
if fit (pBesti)< fit (gBest) 
gBest= pBesti; 
end for 
end while 
print gBest 
结束 end procedure 


更 新 每 个 粒子 历史 最 优 位 置 


更 新 群体 的 全 局 最 优 位置 


图 6.5 PSO 的 流程 图 和 伪 代 码 
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6.2.2 应 用 举例 


下 面 通过 一 个 简单 的 函数 优化 的 例子 ,说明 粒子 群 优化 算法 的 执行 过 程 。 

例 6.1 CAPR y= f(a .22) =a tr, HP, — 10Sa 272.510, AFR ER. 
法 求解 > 的 最 小 值 ,请 写 出 关键 的 执行 步骤 。 

解 : 使 用 粒子 群 优化 算法 求解 例 6. 1 的 执行 步骤 如 图 6.6 所 示 。 


步骤 1 : 初始 化 。 步骤 2 : 粒子 的 速度 和 位 置 更 新 。 
假设 种 群 大 小 是 N=3 ; 在 搜索 空间 中 随机 初始 化 根据 目 身 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 ， 更 新 每 个 
每 个 解 的 速度 和 位 置 ， 计 算 适 应 函数 值 ， 并 且 得 粒子 的 速度 和 位 置 。 
到 粒子 的 历史 最 优 位 置 和 群体 的 全 局 最 优 位 置 。 
E 1 = (3, 2) ve +(-5)?=64+25=89 Uj=OX vtec Xr, X ( pBest,—x,)+c Xr, X (gBest-x,) 

xı=(8,-5) (| pBest,;=x,= (8, —5) => 0.5 X 34+0+0=1.5 

Uy = (~3,-2) [f= (-5)?+9? =25+81=106 P597 "79 05x 24040=1 
z 1 =(-5, 9) { pBest,=x,=(—5, 9) X =X, t+, =(8, —5)+(1.5,1)=(9.5, 一 4) 

u= (5, 3) =(-7) + (-8)°=49+64=113 

ia 1 = (-7,-8) { pBest,=x,= (—7, -8) U.=O X vte Xr X ( pBesty—Xz)+ C7 Xr X (gBest—Xp) 
0.5 X (—3)+0+2 X 0.3 X (8-(—-5))=6.1 
0.5 X (—2)+0+2 X 0.1 X ((—5)}-9)=1.8 
x =x,+0,=(-5,9)+(6.1,1.8)=(1.1, 10.8)=(1.1,10) 


P| 
=(1.5,1) 


=(6.1,1.8) 


步骤 3 : PARLE AY iE AYE eA EL 。 
更 新 粒子 的 历史 最 优 位 置 和 全 局 的 最 优 位 置 - 


. 注意 ! 对 于 越界 的 位 置 ， 需 要 进行 合法 性 调整 
fi =9.5°+(-4)?=90.25+16=106.25>f,=89 


f,=89 
{ pBest,=(8, -5) U3=WX v3+C, Xr; X ( pBest;—x3)+C3 Xr X (gBest-x;) 

x X (8-(-7))= | 

mee e 0.05X(8-(-7))-3.5 13.5 63) 


f3 =1.17+10°=1.214+100=101.21<106=f, 
a 0.5 X 3+0+2 X 0.8 X ((-—5)-(-8))=6.3 


f=f=101.21 
pBest,=X,=(1.1, 10) x)=x,+0,;=(-7, -8)+(3.5,6.3)=(—3.5, —1.7) 
f3=(-3.5)?+(-1.7)?=12.25+2.89=15.14<113=f, Da 
f =fi=15.14 @ 是 惯量 权重 ， 一般 取 [0,1] 区 间 的 数 ， 这 里 假设 为 0.5 
{ ae =x,=(—3.5, —1.7) Č] 和 C> 为 加 速 系数 ， 通常 取 固 定 值 2.0 
eee Ailes ry Al ry SE [0,1] 区 间 的 随机 数 
gBest=pBest,=(—3.5, —1.7) 


步骤 4 : 如 果 满 足 结束 条 件 ， 则 输出 全 局 最 优 结果 并 结束 程序 ， 否 则 ， 转 向 步骤 2 继续 执行 。 


图 6.6 使 用 粒子 群 优化 算法 求解 例 6. 1 的 步 又 图 示 


6.3 粒子 群 优 化 算法 的 改进 研究 


由 于 粒子 群 优化 算法 的 简单 易 用 、 高 效 实用 , 自 其 提出 以 来 ,受到 众多 人 研究 者 的 探讨 
和 改进 ,并 且 被 运用 到 了 越 来 越 广泛 的 领域 之 中 。 

Eberhart 等 人 "于 2004 年 在 进化 计算 的 国际 顶级 期 刊 IEEE Transactions on 
Evolutionary Computation 上 组 织 了 一 个 关于 粒子 群 优化 算法 的 专刊 (Special Issue) 。 在 
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卷首 语 中 ,Eberhart 和 Shi 在 描述 PSO 研究 与 进展 的 时 候 提 到 了 PSO 相关 的 五 个 热点 
和 难点 问题 。 这 五 个 问题 分 别 是 : 算法 的 理论 研究、 算法 的 参数 研究 、 算 法 的 拓扑 结构 人 研 
究 、PSO 与 其 他 算法 的 混合 以 及 算法 的 应 用 。 该 Special Issue 刊登 了 7 篇 不 同人 研究 方面 
的 文章 9232。 可 以 说 ,2004 年 的 Special Issue on Particle Swarm Optimization 对 PSO 算 
法 人 研究 ,发展 与 应 用 起 到 了 承前启后 的 作用 。 一 来 , 它 对 1995 年 以 来 关于 PSO 的 人 研究 进 
展 和 成 果 进 行 了 比较 全 面 和 具体 的 综述 和 评价 ;二 来 ,发 表 的 7 篇 文 草 对 PSO 进行 了 比 
较 全 面 和 系统 的 完善 与 拓展 ,使 得 算法 性 能 更 加 高 效 ,应 用 范围 更 加 广泛 ;三 来 , 它 为 
PSO 的 进一步 研究 和 发 展 提 供 了 更 高 的 起 点 ,并 且 指 明了 相关 的 方向。 关于 PSO 的 研 
究 内 容 和 改进 方 回 ,我们 在 图 6.7 中 给 出 了 总 结 。 


指 的 是 对 粒子 群 优化 算法 进行 理论 分 析 ,从 数学 

推导 上 证 明 算 法 具有 收敛 性 ,能 够 保证 算法 求解 希望 从 理论 上 证 明 算 
算法 理论 研究 C 到 全 局 最 优 解 。 这 种 理论 研究 从 早期 的 静态 分 EMIS RE TI AIS 

析 ， 已 经 逐步 发 展 到 动态 分 析 , 对 保证 算法 的 性 能 力 。 

能 提供 了 理论 依据 。 


PSO 具有 惯量 权重 wo, 加速 系数 cl + cp» RAR 

E. 种 群 规模 等 参数 。 参 数 分 忻 试图 通过 研究 这 希望 从 实验 分 析 的 角 
些 参数 对 算法 全 局 搜索 能 力 和 局 部 搜索 能 力 的 影 [> 度 理解 算法 运行 机 理 ， 
啊 ， 找 到 更 好 的 参数 配置 或 者 目 适 应 调 参 方案 ， 提高 算法 性 能 。 

提高 算法 性 能 。 


PSO 有 全 局 版 本 和 局 部 版 本 之 分 ,它们 的 不 同 之 TS 
KETE F ENTAR ERE RERIT || RNASE EES 


作为 样本 还 是 局 部 邻居 中 最 优 的 粒子 作为 样本 。 上 一 
不 同 的 拓扑 结构 会 影响 算法 局 部 搜索 和 全 局 搜索 oo 
的 能 力 o S o 


PSO 目 身 收敛 速度 快 ， 但 是 容易 落 和 局 部 最 优 。 希望 通过 加 入 一 些 附 


een 混合 算法 引入 了 进化 算法 中 的 相关 算 子 ， 例 如 |_| 加 的 算 子 ,提高 种 和 
合算 法 研究 选择 、 交 又 、 变 异 等 算 子 ， 或 者 其 他 的 一 些 增 的 多 样 性 以 提高 算法 
加 算法 多 样 性 的 技术 ， 提 高 算法 性 能 。 


PSO 简单 易 用 、 人 性 能 高 效 ， 已 经 得 到 了 广泛 的 应 希望 通过 将 算法 应 用 
用 。 传统 的 应 用 以 连续 领域 的 优化 问题 居多 ， 近 到 各 种 不 同 的 领域 ， 
年 来 ， 将 PSO 离散 化 , 应 用 到 离散 组 合 优化 问题 在 实践 中 检验 算法 的 
中 的 研究 也 频频 出 现 , 算法 应 用 范围 进一步 扩展 。 有 效 性 。 


图 6.7 粒子 群 优化 算法 的 研究 内 容 和 改进 方向 


从 1995 年 提出 到 现在 ,PSO 已 经 经 过 了 十 多 年 的 发 展 和 完善 ,相关 的 理论 研究 、 算 
法 改进 和 应 用 拓展 都 取得 了 很 大 的 进展 。 无 论 是 研究 队伍 的 规模 发表 的 论文 数量 还 是 
网 上 的 信息 资源 ,发 展 速 度 都 很 快 ,PSO 已 经 得 到 了 国际 学 术 界 的 广泛 认可 , 像 IEEE 和 
ACM 等 的 相关 学 术 期 刊 和 国际 会 议 都 对 PSO 的 研究 和 发 展 非常 重视 。 收 录 PSO 文章 
较 多 ,质量 较 高 的 相关 学 术 期 刊 和 国际 会 议 名 录 如 表 6. 2 所 示 。 


第 6 章 “” 粒 子 群 优 化 算法 


表 6.2 收录 PSO 科研 论文 较 多 的 学 术 期 刊 和 国际 会 议 一 览 表 


IEEE Transactions on 上 volutionary Computation 
IEEE Transactions on Systems; Man and Cybernetics 
IEEE Transactions on +*+. 

学 术 期 刊 


Machine Learning 
Evolutionary Computation 


IEEE Congress on Evolutionary Computation (CEC) 

IEEE International Conference on Systems, Man, and Cybernetics (SMC) 

ACM Genetic and Evolutionary Computation Conference (GECCO) 

International Conference on Ant Colony Optimization and Swarm Intelligence (ANTS) 
International Conference on Simulated Evolution And Learning (SEAL) 


国际 会 议 


有 关 PSO 的 综述 文章 不 断 出现 , 其 中 较 有 代表 性 的 综述 文章 分 别 于 2001 年 257 和 
2004 469) WY IEEE 进化 计算 国际 会 议 ,2007 年 的 ACM 遗传 与 进化 计算 国际 会 议 2 上 发 表 。 
同时 ,在 IEEE Transactions on Evolutionary Computation”?! 和 Natural Computing” t] 等 3% 
名 期 刊 上 也 收录 了 有 关 PSO 的 研究 进展 和 应 用 情况 的 综述 文章 。 同 时 ,有 关 PSO HY 
作 也 陆续 出 现 汪 ? 。 这 些 文章 和 著作 的 发 表 与 出 现 , 都 为 广大 读者 、 研 究 人 员 把 握 PSO 
研究 的 最 新 进展 动态 .应 用 和 发 展 趋势 提供 了 重要 的 参考 材料 。 此 外 ,有 关 PSO 的 网 络 
资源 也 在 日 益 增 多 ,例如 Particle Swarm Central 就 是 一 个 专门 对 PSO 的 研究 进展 和 最 
新 动态 进行 跟 踊 的 网 站 (http://www. particleswarm. info) ,而 且 该 网 站 收集 和 整理 了 很 


6.3.1 理论 研究 改进 


关于 PSO 的 数学 基础 .收敛 性 和 稳定 性 研究 ,最早 的 比较 权威 的 成 果 可 以 参考 法 国 数 
学 家 Clerc 与 Kennedy 于 2002 年 合作 的 文章 5 。 此 外 ,Trelear* 引 在 2003 年 也 对 PSO 的 收 
和 敛 性 和 稳定 性 进行 了 调查 研究 与 分 析 ,指出 PSO 最 终 稳 定 地 收敛 于 空间 中 的 某 一 个 点 ,但 
是 不 能 保证 收敛 到 全 局 最 优 的 点 ,有 时 候 甚 至 连 局 部 最 优 也 可 能 不 是 ,而 是 停 涡 在 一 个 当前 最 
好 的 位 置 。 在 2006 年 ,Kadirkamanathan 等 人 5 和 下，van den Bergh 等 人 站 对 PSO 的 研究 和 
数学 分 析 , 已 经 由 以 前 的 静态 分 析 深 入 到 了 动态 的 系统 分 析 。 表 6. 3 对 这 些 人 研究 进行 了 总 结 。 

表 6.3 粒子 群 优化 算法 理论 研究 一 览 表 


p er = 的 行为 进行 研究 ,由 静态 分 | 。 [29] 
bate ee ene [30] 
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算法 的 理论 研究 与 分 析 ,对 巩固 算法 的 理论 基础 有 重要 的 意义 ,同时 ,在 理论 研究 的 
基础 上 ,可 以 对 粒子 群 优化 算法 的 运行 机 理 进 一 步 深入 了 解 和 认识 ,对 加 强 和 改善 算法 的 
性 能 有 实际 的 指导 意义 。 


6.3.2 拓扑 结构 改进 


粒子 群 算 法 的 拓扑 结构 也 称 为 社会 结构 , 指 的 是 算法 中 的 个 体 如 何 进行 相互 作用 的 
问题 。 群 体 中 的 每 个 个 体 都 在 相互 学 习 , 除 基于 自身 的 认 知 之 外 ,还 在 不 断 地 癌 比 自己 更 
好 的 邻居 移动 。 通 过 这 样 的 信息 交流 ,整个 群体 将 能 够 聚集 到 一 个 全 局 最 优 的 位 置 。 
PSO 的 拓扑 结构 是 由 相互 重 倒 的 邻 域 构成 的 ,而 粒子 就 在 这 些 邻 域 之 内 相互 影响 。 因 
此 ,不 同 的 拓扑 结构 的 定义 将 影响 着 粒子 间 信 息 交 流 的 方式 和 信息 流通 的 速度 ,从 而 影响 
独自 法 的 性 能 。PSO 的 人 研究 者 普遍 都 认为 拓扑 结构 对 算法 有 者 重 要 的 影响 ,并 且 提 出 了 
众多 的 改进 方案 ,希望 设计 出 性 能 更 好 的 算法 。 图 6. 8 对 关于 PSO 拓扑 结构 改进 的 情况 
进行 了 分 类 与 总 结 。 


f 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 i 
静态 拓扑 结构 动态 拓扑 结构 其 他 拓扑 结构 


逐步 增长 法 
Suganthan 1999 宪 会 趋同 法 
最 小 距离 法 Kennedy 2000 
Hu 和 Eberhart 2002 Fully Informed 
环 型 结构 重新 组 合法 Mendes 等 人 2004 


齿 形 结构 Liang 和 Suganthan 2005 广泛 学 习 策略 
金字 塔 结 构 随机 选择 法 Liang 等 人 2006 
汉 HR BZ Ry Kennedy = A 2006 ai 


图 6.8 粒子 群 优化 算法 拓扑 结构 改进 版 本 一 览 图 


1. 静态 拓扑 结构 

早 在 PSO 提出 之 初 ,Kennedy 和 Eberhart 就 已 经 注意 到 了 群体 的 拓扑 结构 对 算法 
的 性 能 有 着 重要 的 影响 。 他 们 在 1995 年 提出 PSO 的 时 候 就 提 到 了 全 局 版 本 
PSO( Global Version PSO,GPSO) 和 局 部 版 本 PSO(Local Version PSO,LPSO) 两 个 主要 
范式 (paradigm)"*]。 这 两 种 范式 的 主要 区 别 在 于 社会 网 络 结构 的 定义 的 不 同 。 在 
GPSO 中 ,整个 群体 构成 一 个 “社会 ”, 也 就 是 说 ,粒子 在 进行 速度 和 位 置 更 新 的 时 候 , 将 
会 使 用 自身 的 历史 最 好 位 置 pBest 和 整个 群体 中 最 好 的 位 置 gBest 作为 更 新 的 向 导 。 
而 在 LPSO 中 ,每 个 粒子 所 处 的 “社会 ”仅仅 是 一 个 小 的 邻 域 。 这 样 在 LPSO 版 本 中 , 粒 
子 在 进行 速度 和 位 置 更 新 的 时 候 , 除 了 使 用 自身 的 历史 最 好 位 置 pBest 之 外 ,还 要 使 用 
邻 域 中 的 最 好 位 置 1Best 作为 更 新 的 向 导 。 由 此 可 见 ,LPSO 中 能 够 被 用 作 更 新 间 导 的 
位 置 将 要 比 GPSO 要 多 (因为 在 LPSO 中 每 个 粒子 对 应 的 1Best 很 可 能 是 不 同 的 ,而 在 
GPSO 中 每 个 粒子 对 应 的 gBest 都 是 一 样 的 ) ,所 以 LPSO 的 多 样 性 更 好 ,往往 能 够 在 处 
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理 复 杂 的 问题 时 表现 出 比 GPSO 更 好 的 性 能 。 图 6.9 给 出 了 GPSO 和 LPSO 中 粒子 的 
更 新 示意 图 。 


在 全 局 版 本 PSO 中 , 每 个 粒子 受到 群体 中 在 局 部 版 本 PSO 中 ， 每 个 粒子 受到 其 邻 域 

最 优 的 粒子 gBest 的 影响 ， 因 此 所 有 粒子 结构 中 最 优 的 粒子 LBest 的 影响 ， 因 此 整个 

都 将 快速 趋向 该 全 局 最 优 解 。 但 是 这 种 群体 表现 出 更 好 的 多 样 性 ， 不 容易 受到 当 

快速 的 收敛 容易 导致 算法 落 和 局 部 最 优 前 全 局 最 优 解 的 过 分 影响 而 落 入 局 部 最 优 
GPSO LPSO 


6.9 GPSO 和 LPSO 中 粒子 的 更 新 示意 图 


2002 年 ,Kennedy 在 进化 计算 国际 会 议 CEC 上 发 表 了 文章 6 ,提出 了 例如 星 型 结 
构 、 环 型 结构 AI a 金字塔 结 构 . 冯 “. 诺 依 受 结构 等 等 不 同 的 拓扑 结构 ,并 且 比 较 了 
它们 在 PSO 中 的 性 能 。2006 Æ, Kennedy 和 Mendes”! th, Ki ix #6 Hi Fh SH RY HE Fully 
Informed 的 PSO 上 进行 了 测试 。 关 于 这 些 不 同 结构 的 特点 , 表 6. 4 进行 了 比较 和 总 结 。 
同时 ,图 6. 10 给 出 了 这 些 不 同 结构 的 示意 图 。 


表 6.4 不 同 拓扑 结构 特点 比较 


拓扑 名 称 结 构 特 点 
星 型 结构 任意 两 个 粒子 都 相互 连接 ,如 图 6. 10(a) 所 示 
环 型 结构 每 个 粒子 和 左右 两 个 粒子 相连 ,如 图 6. 10(b) 所 示 
齿 形 结构 邻 域 中 仅 有 一 个 粒子 作为 “焦点 ”, 和 其 他 粒子 相连 ,如 图 6.10(c) 所 示 
冯 。 诺 依 曼 结构 每 个 粒子 和 平面 网 格 中 的 上 下 左右 四 个 粒子 相连 ,如 图 6.10(d) 所 示 


2. 动态 拓扑 结构 

尽管 这 些 静 态 的 拓扑 结构 已 经 取得 了 很 好 的 人 研究 成 有 果 , 但 即使 是 LPSO ,也 不 能 解决 
PSO 容易 落 入 局 部 最 优 的 问题 。 人 研究 PSO 的 动态 拓扑 结构 是 希望 能 够 通过 在 不 同 的 进 
化 阶段 使 用 不 同 的 拓扑 结构 ,动态 地 改变 算法 的 探索 能 力 和 开发 能 力 ,在 保持 种 群 多 样 性 
和 算法 收敛 性 上 取得 动态 的 变化 和 平衡 ,以 提高 算法 的 整体 性 能 。 因 此 ,很 多 人 研究 者 也 致 


(a) 星 型 结构 (b) 环 型 结构 (c) 丙 形 结构 (d) 汉 * 施 依 曼 结构 


EE 人 全 局 版 本 PSO 和 局 部 版 本 PSO 的 收敛 特点 : 

(1) GPSO 由 于 其 很 高 的 连接 度 ,往往 具有 比 LPSO 更 快 的 收敛 速度 。 但是， 快速 的 收敛 也 让 GPSO 付出 了 多 样 性 迅 
速 降低 的 代价 

(2) LPSO 由 于 具有 更 好 的 多 样 性 ， 因 此 一 般 不 容易 沙 人 局 部 最 优 ， 在 处 理 多 峰 问 题 上 具有 更 好 的 性 能 

> 在 解决 具体 问题 的 时 候 ,可 以 遵循 以 下 一 些 规律 

(1) 邻 域 较 小 的 拓扑 结构 在 处 理 复 杂 的 、 多 峰值 的 问题 上 具有 优势 ， 例 如 环 型 结构 的 LPSO 

(2) 随 着 邻 域 的 扩大 ,算法 的 收敛 速度 将 会 加 快 ,这 对 简单 的 、 单 峰值 的 问题 非常 的 有 利 , 例如 GPSO 在 这 些 问题 上 
就 表现 很 好 

(3) 汉族 依 曼 结构 的 PSO 在 GPSO 和 LPSO 两 者 间 取 得 了 一 个 平衡 ， 适 合 大 多 数 问 题 的 求解 ， 而 且 具 有 良好 的 性 能 


图 6.10 不 同 拓扑 结构 的 示意 图 
力 于 研究 PSO 的 动态 拓扑 结构 。 其 中 比较 有 代表 性 的 有 Suganthant , Hu 和 
Eberhart Liang 和 Suganthan 等 人 中 提出 的 解决 方案 ,如 表 6.5 所 示 。 
表 6.5 粒子 群 优化 算法 动态 拓扑 结构 研究 一 览 表 


作 者 特 M 
Suganthan(1999)533] 逐步 增长 法 : 根据 进化 代数 将 其 邻居 从 粒子 自身 逐渐 扩大 到 整个 群体 
Hu 等 人 (20027534 最 小 距离 法 : 每 一 代 中 选择 m 个 “距离 ”最 近 的 粒子 作为 邻居 


Liang 4 A (2005)! 重新 组 合法 : 随机 分 成 多 个 小 种 群 进 化 了 一 定 代 数 后 重新 随机 组 合 ,继续 进化 
Kennedy 等 人 (2006) 随机 选择 法 : 随机 为 每 个 粒子 选择 K 个 粒子 (包括 自身 ) 作 为 邻 域 


此 外 ,包括 Kennedy, Clerc 和 Eberhart 等 在 内 的 一 些 人 研究 者 提出 了 一 种 “标准 的 
PSO 算法 ”, 读 者 可 以 通过 在 Particle Swarm Central 网 站 上 下 载 Standard PSO 2006 和 
Standard PSO_2007 的 源 代码 (http://www. particleswarm. info/Programs. html), iX 
里 的 Standard PSO 定义 了 一 种 随机 的 拓扑 结构 。 随 机 拓扑 结构 PSO(Random Topology 
PSO,RPSO) 为 每 个 粒子 定义 一 个 规模 为 kK 的 邻 域 ,该 邻 域内 的 个 体 是 从 整个 群体 中 随 
机 选择 的 (包括 粒子 本 号 )。 在 每 一 代 进 化 中 ,每 个 粒子 将 在 其 本 号 历史 最 优 位 置 和 其 对 
应 的 随机 拓扑 邻 域 中 的 最 优 位 置 的 影响 下 进行 速度 和 位 置 的 更 新 。 如 有 果 在 该 代 的 进化 中 
得 到 的 最 优 解 对 已 经 找到 的 全 局 最 优 解 有 所 改善 ,那么 这 些 拓扑 结构 将 不 会 发 生 改 变 而 
在 下 一 代 继 续 发 挥 作用 。 否 则 ,RPSO 将 在 下 一 代 中 对 每 个 粒子 重新 构造 其 随机 邻 域 ,以 
期 增强 粒子 的 搜索 能 力 ,提高 算法 的 性 能 。 因 此 ,RPSO 也 可 以 看 做 是 一 种 动态 拓扑 结构 
的 PSO, 

3. 其 他 拓扑 结构 

在 针对 PSO 的 拓扑 结构 的 众多 改进 版 本 中 ,除了 前 面 提 到 的 标准 的 静态 拓扑 结构 和 
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有 关 的 动态 拓扑 结构 之 外 ,还 存在 很 多 其 他 的 改进 版 本 ,我 们 将 一 些 典 型 的 改进 方案 列举 
在 表 6.6 中 。 


表 6.6 粒子 群 优化 算法 其 他 拓扑 结构 研究 一 览 表 
Kennedy 社会 趋同 法 (Social Stereotyping) 
Mendes 等 人 Fully Informed PSO 
Liang 等 人 广泛 学 习 策 略 CLPSO 


2004 L10] 


63.3 混合 算法 改进 


自 PSO 提出 以 来 ,研究 者 就 不 断 地 通过 将 PSO 算法 和 其 他 搜索 算法 或 者 思想 技术 
相 结合 ,形成 了 形形色色 的 关于 PSO 的 混合 算法 改进 版 本 。 这 些 混合 算法 要 么 融合 了 传 
统 进化 计算 中 的 有 关 算 子 ,例如 选择 算 子 .交叉 算 子 .变异 算 子 等 ,要 么 直接 与 其 他 一 些 搜 
索 算 法 相 结合 ,例如 模拟 退火 算法 .免疫 算法 .差分 进化 算法 .局 部 搜索 算法 等 。 另 外 ,还 
有 不 少 的 改进 形式 是 通过 使 用 一 些 数 学 .物理 学 .生物 学 等 相关 科学 的 一 些 技 术 手 段 对 原 
始 PSO 进行 改进 和 完善 。 图 6. 11 对 这 些 混 合算 法 进行 了 分 类 与 总 结 。 相 关 的 算法 特点 
和 参考 文献 如 表 6.7 所 示 。 
选择 算 子 


REF 
变异 算 子 


合 进化 算 子 的 改进 进化 规划 


进化 策略 
蚁 群 算法 


结合 模拟 退火 算法 
结合 人 工 免疫 算法 
混合 (混合 其 他 搜索 算法 的 改进 ， 结合 差分 进化 算法 
结合 局 部 搜索 算法 


单纯 性 技术 

函数 延伸 技术 

混沌 技术 
(混合 其 他 技术 的 改进 “) ea 

小 生境 技术 

物种 形成 技术 


粒 
十 
if 
优 
化 
算 
法 
混 
合 
算 
法 
改 
进 
版 
本 
vu 


图 6.11 粒子 群 优 化 算法 混合 算法 改进 版 本 一 览 图 
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120 计算 智能 


表 6.7 粒子 群 优化 算法 混合 算法 研究 一 览 表 


选择 算 子 


(Selection) 


混合 进 


变异 算 子 
(Mutation) 


结合 差分 进化 算法 


(Differential Evolution) 


结合 局 部 搜索 算法 
(Local Search) 


函数 延伸 技术 


(Function Stretching) 


混沌 技术 
(Chaos Technique) 


量子 技术 


(Quantum Technique) 


协同 技术 


(Cooperative Technique) 


小 生境 技术 
(Niche Technique) 


物种 形成 技术 
(Speciation Technique) 


Angeline(1998) 中 将 每 次 迭代 产生 的 新 的 粒子 群 根据 适应 函数 
进行 选择 ,用 适应 度 较 高 的 一 半 粒 子 的 位 置 和 速度 矢量 取代 适 
应 度 较 低 的 一 半 粒 子 的 相应 矢量 ,而 保持 后 者 个 体 极 值 不 变 


Lovbjerg 4 A.(2001)"*! ,Chen 等 人 (2007)00 


Andrews(2006) Xf PSO 中 混合 使 用 变异 算 子 的 算法 进行 了 较 
为 全 面 的 综述 和 比较 


Hendtlass(2001)! 引 对 同一 个 种 群 轮流 地 使 用 PSO 和 DE 进行 
优化 ,结果 表明 这 种 方式 比 单纯 的 PSO 具有 更 好 的 性 能 

Zhang 和 Xie(2003)' 针 对 粒子 的 历史 最 优 pBest 利用 差分 操作 
进行 扰动 ,有 点 类 似 于 变异 ,而 且 是 当 且 仅 当 扰动 后 的 位 置 比 当 
前 的 pBest 更 优 时 , 才 蔡 换 pBest 


Liang 和 Suganthan(2005)" 在 设计 动态 的 多 种 群 PSO 算法 的 时 
候 , 增 强 了 种 群 的 多 样 性 ,但 是 牺牲 了 快速 收敛 的 能 力 , 因 此 引入 
了 准 牛 顿 法 对 一 部 分 适应 值 较 好 的 1Best 执行 局 部 搜索 操作 


Parsopoulos 等 人 (2004)! 趾 将 自 适 应 改变 目标 函数 方法 用 到 了 
粒子 群 优化 算法 中 ,以 防止 粒子 群 优化 算法 返回 已 经 找到 的 局 
部 极 值 


Chuanwen 和 Bompard (2005)! LL Æ Coelho 和 BM Herrera 
(2007)5 ,使 用 混沌 技术 生成 PSO 相应 的 参数 ,包括 惯量 权重 
和 加 速 系数 等 

Liu 等 人 (2005)" 采取 混沌 技术 对 当前 的 最 优 位 置 进行 扰动 ,使 
得 最 优 解 质量 进一步 提高 


Sun 4 A.(2004)"*! 以 及 Mikki 和 Kishk(2006)09 分 别提 出 了 一 
种 具有 “量子 行为 "的 QDPSO ,他 们 的 算法 改变 了 传统 PSO 在 牛 
顿 空间 中 的 运动 形式 ,而 采用 了 量子 式 的 更 新 方式 对 粒子 的 位 
置 进 行 调整 和 优化 

Yang 等 人 (2004)59 将 量子 的 思想 应 用 于 二 进 制版 本 的 PSO 中 


Van den Bergh 和 Engelbrecht(2004)03 4% D 4E [a] 4} a D 个 独 
立 粒 子 群 中 ,每 个 粒子 群 优化 一 维 向 量 , 评 价 适应 值 时 将 分 量 合 
成 一 个 完整 癌 量 

Baskar 和 Suganthan( 2004)" 使 用 S 个 独立 的 粒子 群 , 其 中 前 
S-1 个 粒子 群 根 据 “ 本 粒子 群 ?迄今 搜索 到 的 最 优 解 来 更 新 群 中 粒 
子 的 速度 ,而 第 S 个 粒子 群 则 是 根据 “全 部 粒子 群 > 迄 今 搜 索 到 
的 最 优 解 更 新 群 中 粒子 的 速度 


Brits 等 人 (2002)52 和 (2007)53 提出 的 NichePSO 中 ,他 们 采用 
了 一 个 大 的 种 群 开始 在 问题 空间 中 寻 优 , 当 发 现 了 一 个 可 能 的 
最 优 解 或 者 局 部 最 优 解 的 时 候 , 种 群 自 适应 的 分 裂 , 让 一 小 部 分 
个 体 在 该 解 附近 形成 一 个 小 生境 继续 优化 ,而 剩 下 的 部 分 继续 
在 解 空间 中 寻 优 ,直到 发 现下 一 个 最 优 解 的 时 候 再 进行 自 适 应 
分 裂 , 通 过 这 样 的 方式 ,NichePSO 可 以 有 效 地 搜索 到 多 个 最 优 解 


Parrott 和 Li(2006)55 将 物种 形成 技术 融 人 到 了 PSO 算法 中 以 
求解 多 峰值 问题 和 跟踪 动态 环境 中 的 多 个 解 
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6.3.4 离散 版 本 改进 


虽然 PSO 是 一 个 非常 适合 于 连续 领域 问题 优化 的 算法 ,并 且 已 经 在 很 多 连续 空间 领 
域 获得 了 相当 成 功 的 应 用 ,但 是 很 多 现实 问题 都 是 定义 在 离散 空间 中 的 ,例如 典型 的 离散 
组 合 问题 就 有 整数 规划 问题 背包 问题 \ 皇 后 问题 \ 旅 行商 问题 ,调度 问题 \ 路 由 问题 等 。 
为 了 将 PSO 应 用 到 这 些 离散 组 合 问题 ,人 研究 者 也 在 不 断 地 尝试 将 PSO 离散 化 后 将 算法 
运用 到 离散 领域 (组 合 优化 ) 之 中 。 在 众多 的 离散 PSO 改进 版 本 中 ,二 进 制 编码 PSO 和 
整数 编码 PSO 是 常见 的 两 种 形式 ,为 外 还 有 一 些 其 他 的 改进 方案 也 相继 出 现 ,如 图 6. 12 
所 示 。 


二 进 制 编码 离散 版 本 整数 编码 离散 版 本 


Kennedy 和 Eberhart 19971551% 粒子 群 优化 算法 离 Salman 等 人 200259 将 粒子 的 
PSO 进行 了 离散 化 ， 形 成 了 二 散 形式 改进 版 本 一 位 置 变量 四 舍 五 和 人 为 最 接近 
进 制 编码 的 PSO(BPSO), 并 且 览 图 的 合法 的 离散 值 Yoshida 等 人 


在 对 De Jong 的 五 个 标准 测试 
国 数 的 测试 中 取得 较 好 的 效果 


20005"] 将 连续 的 值 域 分 区 间 ， 
为 每 个 区 间 赋 予 一 个 相应 的 离 


其 他 形式 离散 版 本 RCE 


Clerc200459 为 PSO 定义 了 合适 的 “加 减 乘 ” 法 而 实现 离散 化 ， 并 且 应 用 于 解决 旅行 商 问题 (TSP) 
Schoofs $i] Naudts200253?1 重 新 定义 了 PSO WY “HRR” 法 ， 并 且 应 用 到 了 约束 可 满足 问题 (CSP) 中 


Hu 等 人 20035 将 速度 定义 为 位 置 变量 相互 交换 的 概率 , 从 而 将 PSO 离散 化 并 成 功用 于 解决 皇后 问题 


图 6.12 粒子 群 优 化 算法 离散 形式 改进 版 本 一 览 图 


6.4 粒子 群 优化 算法 的 相关 应 用 


随 着 PSO 的 不 断 改 进 和 完善 ,PSO 被 众多 的 研究 者 应 用 到 了 越 来 越 多 的 领域 当中 。 
作为 连续 领域 的 优化 方法 ,PSO 基本 上 能 够 胜任 所 有 这 方面 的 应 用 。 很 多 已 经 在 遗传 算 
法 中 得 到 很 好 应 用 的 领域 在 采用 了 PSO 作为 优化 方法 之 后 ,都 取得 了 更 好 的 优化 效果 并 
上 且 提高 了 优化 速度 ,同时 也 降低 了 程序 的 复杂 度 ,使 得 算法 应 用 更 加 的 高 效 。PSO 最 早 
是 用 来 优化 神经 网 络 的 网 络 连接 权重 的 "2 ,目前 的 应 用 已 经 涉及 了 电力 系统 拯 ] .电磁 
学 "2 、 经 济 分 配 "6 、 医 学 图 像 配 准 5 、 多 目标 优化 595 BETO 、 机 器 学 习 与 训 
Byer ILOTILGS] Ar He PS Hh Bj PASEO 、 模 式 识别 "” aS Hs A RA EEO OO) 等 各 
个 领域 。 


641 优化 与 设计 应 用 


许多 实际 的 工程 与 实践 问题 本 质 上 是 也 数 优 化 问题 ,或 者 说 这 些 问 题 本 里 就 是 要 求 
进行 参数 的 设计 与 优化 ,因此 部 可 以 转换 为 函数 优化 问题 进行 求解 ,粒子 群 优化 算法 在 解 
决 这 些 问题 时 具有 天 然 的 优势 ,非常 适合 这 种 类 型 问题 的 求解 。 随 看 粒子 群 优化 算法 的 
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进一步 发 展 和 不 断 的 完善 ,其 在 越 来 越 多 的 工程 与 系统 设计 优化 问题 上 取得 了 相当 成 功 
的 应 用 。 如 表 6. 8 所 示 ,这 些 设计 优化 问题 主要 包括 : 神经 网 络 优化 .电磁 螺旋 管 优化 、 
AVR 单片机 系统 参数 优化 、 相 控 阵 控制 需 参 数 优化 .天线 设计 优化 .电力 系统 稳定 天 设 
TP PLS BOTT LRT aK a IT TR BC OS 


表 6.8 粒子 群 优化 算法 在 工程 与 系统 设计 优化 问题 中 的 应 用 


应 用 (中 文 ) 
神经 网 络 优化 


无 功 功 率 与 电压 控制 


电磁 螺旋 管 优 化 


电力 系统 稳定 器 参数 优化 
AVR 单片机 系统 参数 优化 
相 控 阵 控制 器 参数 优化 


PLR it Hi te 
放大 器 设计 优化 
天 线 设计 优化 
悬臂 粱 设计 
组 合 逻 辑 电 路 
电力 系统 稳定 器 


最 优 的 并 行 设计 系统 


鲁 棒 性 设计 
HIRE 
其 他 


642 调度 与 规划 应 用 

调度 (scheduling) 和 规划 (planning) 是 一 类 密切 影响 看 我 们 日 常生 活 的 优化 问题 , 例 
如 会 议 安排 \ 公 车 路 线 规 划 、 飞机 调度 等 。PSO 已 经 在 众多 的 调度 与 规划 问题 中 取得 了 
JES TH AY A. WE 6.9 所 示 。 


应 用 (中 文 ) 


经 济 调度 的 电力 系统 
发 电机 组 检修 计划 
业务 规划 

电力 系统 最 优 潮流 
输电 网 络 扩展 规划 
任务 分 配 
旅行 商 问题 

流 车 间 调 度 问题 
其 他 


表 6.9 粒子 群 优化 算法 在 调度 与 规划 问题 中 的 应 用 


Neural network optimization 


Reactive power and voltage control 


Electromagnetic Loney’s solenoid 


Power system stabilizers optimization 
AVR system parameters optimization 
Phased-Arrays control optimization 
Aircraft wing design 

Amplifiers 

Antenna design 

Cantilevered beam design 
Combinational circuits 

Power system stabilizers 

Optimal concurrent design system 
Robust design 

Truss optimization 


Others 


Economic dispatch in power systems 


Generator maintenance scheduling 


Operational planning 


Optimal power flow 


Power transmission network expansion planning 


Task assignment 


Traveling salesman problem 


Flow shop scheduling 


Others 
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643 其 他 方面 的 应 用 


粒子 群 优化 算法 的 应 用 领域 非常 广泛 ,如 表 6. 10 所 示 ,PSO 已 经 在 机 器 学 习 与 训 
练 `, 数 据 挖掘 与 分 类 .生物 与 医学 等 各 个 方面 都 取得 了 成 功 的 应 用 。 随 着 研究 者 对 算法 本 
身 不 断 地 改进 和 完善 以 及 对 算法 应 用 领域 的 不 断 探 索 ,PSO 算法 将 会 在 更 多 的 实践 领域 
中 发 挥 其 重要 的 作用 。 
表 6.10 粒子 群 优化 算法 在 其 他 方面 的 应 用 
机 器 学 习 与 训练 


。 Messerschmidt 和 Engelbrecht'!®! 使 用 PSO 对 用 于 博弈 的 神经 网 络 进行 训练 ,并 且 在 “ 零 和 博弈 ” 
游戏 tic-tack-toe 中 取得 成 功 的 应 用 

。 Franken 和 Engelbrecht! 将 基于 PSO 的 训练 方法 用 于 “ 非 零 和 博弈 ”游戏 囚徒 困境 中 

。 Papacostantis A‘! 将 基于 PSO 的 训练 方法 用 于 “概率 博弈 ”的 tic-tack-toe 游戏 中 


数据 挖掘 与 分 类 


。 Sousa 等 人 "首次 将 PSO 应 用 于 数据 挖掘 领域 ,他 们 的 目标 就 是 使 用 PSO 根据 一 个 给 定 的 数 
据 集 提取 一 组 最 简约 的 用 于 分 类 的 规则 
。 基于 PSO 的 数据 聚 类 方法 和 图 像 分 类 算法 也 在 不 断 地 提出 和 发 展 


生物 与 医学 应 用 

。 使 用 PSO 训练 神经 网 络 实现 对 医学 中 的 震颤 行为 进行 分 析 - 
。 使 用 PSO 实现 多 模 态 医学 图 像 配 准 " 

。 使 用 PSO 对 医药 Echinocandin B 的 生产 过 程 进行 优化 "3 


。 使 用 PSO 进行 多 序列 比 对 
。 使 用 PSO 实现 多 癌症 分 类 " 


其 他 方面 的 应 用 


6.5 ”粒子 群 优化 算法 的 参数 设置 


PSO 中 并 没有 许多 需要 调节 的 参数 ,下 面 列 出 了 这 些 参数 及 其 经 验 设 置 ,如 表 6. 11 
所 示 。 
表 6.11 粒子 群 优 化 算法 参数 经 验 设置 
参 数 参考 设置 V 表示 参数 的 意义 。 表示 参数 的 经 验 设置 


V ”影响 着 算法 的 搜索 能 力 和 计算 量 
PSO 对 种 群 规模 要 求 不 高 ,一 般 取 20~40 就 可 以 达到 很 好 的 求解 效果 中 


种 群 规模 N 。 Carlisle 和 Dozier” 的 研究 中 建议 将 N 设 为 30 

。 不 过 对 于 比较 难 的 问题 或 者 特定 类 别 的 问题 ,粒子 数 可 以 取 到 100 或 200 
粒子 的 长 度 D V 由 优化 问题 本 身 决 定 , 就 是 问题 解 的 长 度 
粒子 的 范围 R V 由 优化 问题 本 身 决定 ,每 一 维 可 以 设 定 不 同 的 范围 
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续 表 
参 K 参考 设置 V 表示 参数 的 意义 。 表 示 参 数 的 经 验 设置 
V 决定 粒子 每 一 次 的 最 大 移动 距离 ,制约 着 算法 的 探索 和 开发 能 力 
最 大 速度 Vinax 。 Yex 的 每 一 维 Vas. 一 般 可 以 取 相 应 维 搜索 空间 的 10% ~20% ,甚至 100% 


。 在 文献 L[98j 中 ,就 提出 了 一 种 将 Vs 按照 进化 代数 从 大 到 小 递减 的 设置 方案 


YY ”控制 着 前 一 速度 对 当前 速度 的 影响 ,用 于 平衡 算法 的 探索 和 开发 能 力 
。 一 般 设置 为 从 0. 9 线性 递减 到 0. 4 中 ,也 有 非 线 性 递减 的 设置 方案 


iia 可 以 采用 模糊 控制 的 方式 设 定 c% ,或 者 在 [0. 5，1. 0J EREI 
co BE 0.729 的 同时 将 cy 和 co 设 为 1. 49445, 有 利于 算法 的 收敛 cm 
《限制 粒子 的 飞行 速度 的 ,保证 算法 的 有 效 收 人 


Clerc 等 人 中 通过 数学 计算 得 到 x 取 值 0.729, 同 时 ck 和 co 设 为 2.05 


V 代表 了 粒子 向 自身 极 值 pBest 和 全 局 极 值 gBest 推进 的 加 速 权 值 
。 cl 和 cs 通常 都 等 于 2.0, 代 表 着 对 两 个 引导 方向 的 同等 重视 中 
加 速 系 数 c Me | 。 也 存在 一 些 c 和 co 不 相等 的 设置 ,但 其 范围 都 在 0 一 4 之 间 
。 将 a 线性 减少 ,c 线性 增 大 的 设置 能 动态 平衡 算法 的 多 样 性 和 收敛 性 
。 研究 对 cy 和 co 的 自 适应 调整 方案 对 算法 性 能 的 增强 有 重要 意义 "3 


V 决定 算法 运行 的 结束 ,由 具体 的 应 用 和 问题 本 身 确定 

。 将 最 大 循环 数 设 定 为 500、1000、5000, 或 者 最 大 的 函数 评估 次 数 等 

。 也 可 以 使 用 算法 求解 得 到 一 个 可 接受 的 解 作为 终止 条 件 

。 或 者 是 当 算 法 在 很 长 一 段 迭 代 中 没有 得 到 任何 改善 , 则 可 以 终止 算法 


V 决定 算法 如 何 选 择 两 种 版 本 的 粒子 群 优化 算法 一 一 全 局 版 PSO 和 局 部 
版 PSO 
全 局 和 局 部 PSO 。 全 局 版 本 PSO 速度 快 ,不 过 有 时 会 陷 人 局 部 最 优 
。 局 部 版 本 PSO 收敛 速度 慢 一 点 ,不 过 不 容易 陷入 局 部 最 优 
。 在 实际 应 用 中 ,可 以 根据 具体 问题 选择 具体 的 算法 版 本 


”两 种 更 新 方式 的 区 别 在 于 对 全 局 的 gBest 或 者 局 部 的 1Best 的 更 新 方式 

。 在 同步 更 新 方式 中 ,在 每 一 代 中 , 当 所 有 粒子 都 采用 当前 的 gBest 进行 速度 
和 位 置 的 更 新 之 后 才 对 粒子 进行 评估 ,更 新 各 目的 pBest, 再 选 最 好 的 
pBest 作为 新 的 gBest 

同步 和 异步 更 新 。 在 异步 更 新 方式 中 ,在 每 一 代 中 ,粒子 采用 当前 的 gBest 进行 速度 和 位 置 的 

更 新 ,然后 马上 评估 ,更 新 自己 的 pBest, 而 且 如 果 其 pBest 要 优 于 当前 的 
gBest , 则 立刻 更 新 gBest, 迅速 将 更 好 的 gBest 用 于 后 面 的 粒子 的 更 新 过 
程 中 

。 一 般 而 言 ,异步 更 新 的 PSO 具有 高 效 的 信息 传播 能 力 , 具 有 更 快 的 收敛 速度 


终止 条 件 


6.6 HEJM 


1. 请 指出 粒子 群 优化 算法 的 基本 思想 来 源 。 

2. 请 写 出 粒子 群 优 化 算法 执行 过 程 的 基本 步骤 。 

3. 粒子 群 优 化 算法 有 哪些 典型 的 拓扑 结构 ? 各 有 什么 优 缺 点 ? 

4. 如果 需要 对 PSO 的 拓扑 结构 设计 自 适应 的 动态 调整 方案 ,你 将 会 从 哪些 方面 进 
行 考虑 ? 
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5. 通过 查阅 相关 参考 文献 ,指出 PSO 在 混合 遗传 算法 的 选择 、 交 又 和 变异 算 子 的 时 


候 , 有 哪些 典型 的 混合 手段 。 


6. 阅读 参考 文献 [55 ] ,理解 Kennedy 和 Eberhart F 1997 年 提出 的 二 进 制 离散 版 本 


PSO 的 算法 原理 和 执行 过 程 。 


[1] 


[2] 


[3] 


[4] 


L5] 
L6] 


[7] 


L8] 


L9] 


[10] 


[11] 


[12] 


[13] 


[14] 


[15] 


[16] 


7. 请 分 别 列举 出 PSO 在 工程 与 系统 设计 .调度 与 规划 等 问题 上 的 一 些 具 体 应 用 。 
8. 粒子 群 优化 算法 中 惯量 权重 参数 o 对 算法 性 能 有 什么 影响 ? 有 哪些 设置 方案 ? 
9. 粒子 群 优化 算法 的 同步 更 新 版 本 和 异步 更 新 版 本 有 什么 区 别 ? 

10. 上 机 编写 完整 的 PSO 程序 ,实现 对 例 6. 1 完整 的 求解 。 
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普通 高 校本 科 计 算 机 专业 


及 肤 破裂 出 血 后 我 们 的 喘 体能 目 己 疾 鳃 。 在 伤口 
痊愈 的 这 段 时 间 我 们 会 发 现 伤 口 有 红肿 发 热 的 炎症 出 
现 ， 这 残 是 我 们 号 体 的 免疫 系统 在 运转 的 标 坊 ， 而 免 
疫 系统 执行 免疫 功能 主要 依靠 淋巴 细胞 。 


BTA ,注射 疫 淋巴 细胞 
摆 可 以 有 效 预 
防 HIN1. 


z 


(iL a — BERE A RER. HE ISA A a EIS E 
JAERI To AERE KR EENE. 能 使 人 体 在 再 次 起 到 这 种 流 
感 病毒 时 产生 免疫 。 


人 流感 病毒 O 
Ot 2s 
| A se REEL aE 


ww 商 流感 病毒 Pa 

免疫 算法 (Immune Algorithm, IA) ÆA 
们 借鉴 免疫 系统 的 记忆 、 学 习 、 目 我 识别 
等 性 质 ， 并 建立 相应 的 数学 模型 ， 从 而 设 
计 出 的 解决 一 些 实际 问题 的 算法 。 


免疫 系统 (Immune System,IS) 是 脊椎 动物 和 人 类 的 防御 系统 ,是 机 体 执 行 免 疫 功 
能 一 一 识别 非 目 体 物 质 ( 通 稼 是 病原 微生物 或 异体 组 织 等 ) ,从 而 将 之 消灭 .排除 一 一 的 天 
官 , 组 织 、 细 胞 和 分 子 的 总 称 。 把 免疫 系统 的 生物 学 原理 应 用 到 计算 机 科学 中 就 有 了 人 免疫 
算法 (Immune Algorithm, IA), 

本 划 将 介绍 免疫 算法 ,从 算法 的 思想 来 源 、 数 学 模型 .基本 流程 改进 版 本 、 算 法 应 用 
等 各 个 方面 为 读者 展示 免疫 算法 的 有 关 知 识 。 具 体 包 括 如 下 的 内 容 : 

。 免疫 算法 的 免疫 学 原理 ; 

。 免疫 算法 的 数学 模型 ; 

。 免疫 算法 的 基本 流程 ; 

。 免疫 算法 的 改进 版 本 ; 

。 免疫 算法 的 实际 应 用 。 


7.1 免疫 算法 简介 


71.1 BAAR 


我 们 的 生活 环境 充满 了 各 种 细菌 、 病 毒 \ 传 染 性 微生物 与 各 种 污染 物质 ,但 我 们 平常 
为 什么 能 保持 健康 呢 ? 原因 就 是 人 体 的 免疫 系统 (Immune System,IS) 在 保护 着 我 们 。 
免疫 系统 能 抵御 日 常生 活 中 的 绝 大 多 数 病原 体 , 使 我 们 保持 健康 。 更 重要 的 是 免疫 系统 
还 有 记忆 功能 , 当 我 们 得 过 某 种 疾病 后 ,系统 就 会 生成 专门 的 记忆 细胞 记 住 那些 触发 疾病 
的 病原 体 , 细 天 再 次 人 侵 的 时 候 身 体 就 有 了 免疫 力 。 当 然 这 些 疾病 的 记忆 细胞 也 可 以 通 
过 注射 疫苗 获得 ,记忆 细胞 不 仅 能 记 住 曾经 和 人 侵 的 病原 体 , 对 类 似 的 其 他 疾病 也 能 起 到 一 
定 的 免疫 效果 。 

由 于 免疫 系统 具有 学 习性 5 ,记忆 性 和 模式 识别 性 ,研究 人 员 开 始 考虑 把 免疫 系统 
信息 处 理 的 思想 移植 到 数学 和 工程 学 领域 并 建立 相应 的 信息 处 理 技 术 和 计算 机 系统 ,由 
此 产生 了 了 人工 免疫 系统 (Artificial Immune System. AIS), WHEAT HIE KZN EBT. 
作 分 成 两 部 分 : 建立 模型 和 算法 应 用 。 其 中 最 令 人 关注 的 是 研究 方向 是 设计 通用 或 专用 
的 免疫 算法 ,以 满足 数学 .生物 学 .工程 学 等 领域 实际 计算 问题 的 需要 。 

免疫 算法 (Immune Algorithm,IA) 是 指 以 人 工 免 疫 系 统 的 理论 为 基础 ,在 体 细 胞 理 
论 和 网 络 理论 的 司 发 下 ,实现 的 类 似 于 生物 免疫 系统 的 抗原 识别 、 细 胞 分 化 .记忆 和 目 我 
调节 功能 的 一 类 算法 。 如 有 果 将 免疫 算法 与 求解 优化 问题 的 一 般 搜 索 方法 相 比 较 , 那 么 抗 
原 、 抗 体 、 抗 原 和 抗体 之 间 的 亲 和 性 分 别 对 应 于 优化 问题 的 目标 函数 ,优化 解 . 解 与 目标 隔 

免疫 算法 最 先 起 源 于 1973—1976 年 间 Jerne 的 三 篇 关于 免疫 网 络 的 文章 站] Jerne 
在 文中 提出 了 一 组 基于 免疫 独特 型 的 微分 方程 ,这 就 是 最 早 的 免疫 系统 。1986 年 
Farmer' 和 在 此 基础 上 提出 了 基于 网 络 的 二 进 制 的 免疫 系统 ,重点 是 通过 描述 抗体 和 抗 
原 ,抗体 和 抗体 之 间 的 关系 阐述 了 系统 是 如 何 根据 实际 问题 (抗原 的 独特 型 ) 而 学 习 和 记 
忆 的 。 他 还 探讨 了 免疫 系统 与 其 他 人 工 镶 能 方法 的 联系 , 开 司 了 人 工 免 疫 系统 全 究 的 热 
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潮 。 但 是 在 20 世纪 80 年 代 人 研究 免疫 系统 的 人 还 不 多 ,直到 1996 年 12 月 ,在 日 本 举行 了 
首次 基于 免疫 性 系统 的 国际 专题 讨论 会 ,首次 提出 了 “人 工人 免疫 系统 ”(AIS) 的 概念 。 随 
后 ,人 工 免 疫 系 统 进入 了 兴盛 发 展 时 期 ,Dasgupta 和 焦 李 成 等 归 认 为 人 工人 免疫 系统 已 经 
成 为 人 工 千 能 领域 的 理论 和 应 用 人 研究 热点 ,相关 论文 和 人 研 究 成 末 正 在 逐年 增加 。1997 年 
和 1998 年 IEEE 国际 会 议 还 组 织 了 相关 专题 讨论 ,并 成 立 了 “人 工人 免疫 系统 及 应 用 分 
会 "~。 鉴 于 人 工人 免疫 系统 的 研究 开始 成 为 热点 ,人 们 在 2002 年 组 织 了 人 工 免疫 系统 国际 
ZN (International Conference on Artificial Immune Systems,ICARIS) ,此 后 这 个 会 议 每 
年 举行 一 次 。 这 个 会 议 也 是 目前 AIS 研究 领域 最 有 影 啊 力 的 会 议 , 人 们 可 以 在 会 议 材 料 
中 找到 大 量 AIS 在 应 用 领域 的 文章 ,还 可 以 找到 AIS 的 算法 和 其 他 理论 研究 的 最 新 成 
果 。 关 于 ICARIS 的 最 新 信息 可 以 在 这 个 网 站 看 到 (http://www. artificial-immune- 
systems. org/index. shtml) ,这 个 网 站 也 是 AIS 研究 的 权威 网 站 。 


712 免疫 系统 的 生物 学 原理 简介 


从 人 的 角度 讲 , 人 免疫 的 主要 作用 就 是 帮助 人 体 自 号 的 免疫 系统 抵制 由 病毒 和 细菌 引 
起 的 疾病 ,从 生物 学 角度 讲 , 人 免疫 或 免疫 接种 是 强化 一 个 个 体 抵 御 外 部 个 体 的 能 力 的 

人 体 免 疫 系统 是 怎么 对 抗 病菌 的 呢 ? 我 们 在 图 7. 1 中 给 出 了 免疫 系统 层次 防御 示意 
图 。 为 了 了 解 免 疫 系统 的 工作 原理 ,我 们 首先 对 以 下 的 一 些 名 词 进行 解释 。 


病原 体 


皮肤 
生理 学 环境 >< 
ane O 
SE Eme 
Y 
后 天 性 al 
免疫 应 答 
B 淋巴 细胞 


图 7.1 免疫 系统 层次 示意 图 


抗原 : 被 免疫 系统 看 做 异体 ,引起 免疫 反应 的 分 子 。 
抗体 : 免疫 系统 用 来 鉴别 和 移植 外 援 物质 的 一 种 重 日 质 复合 体 。 每 种 抗体 只 识别 特 
定 的 目标 抗原 。 
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淋巴 细胞 : 免疫 系统 中 起 主要 作用 的 微小 日 细胞 ,包括 B 细胞 和 抗体 ,TT 细胞 和 细胞 
因子 以 及 日 然 杀 伤 细胞 。 

B 细胞 : EPRE B 淋巴 细胞 ,在 骨 艇 分 化 成 熟 , 人 免疫 系统 的 本 质 部 分 。 

TT 细胞: EPRE T 淋巴 细胞 ,在 胸腺 分 化 成 熟 , 按 功能 可 以 分 为 细胞 毒 T 细胞 
(cytotoxic T cell) ,辅助 T 细胞 (helper T cell) ,调节 /抑制 工 细 胞 (regulatory/suppressor 
T cell) 和 记忆 工 细 胞 Cmemory T cell), 

亲和力 : 抗体 和 抗原 ,抗体 和 抗体 之 间 的 相似 程度 。 

现在 ,我 们 再 来 看 图 7. 1。 该 图 是 人 体 免 疫 系 统 三 个 层次 的 示意 图 。 第 一 层次 是 皮 
肤 .粘膜 等 物理 屏障 ,能 够 阻挡 大 部 分 的 病原 体 。 但 是 如 果 有 些 病 原 体 突破 了 第 一 层 防 
御 ,侵入 人 体 后 ,它们 首先 被 噬 菌 细胞 发 现 , 这 些 细 胞 物 如 其 名 地 知 叭 病菌 并 把 病菌 肢解 
成 小 块 送 到 淋巴 结 , 由 辅助 工 细 胞 Chelp Tcel, 蝗 血球 的 一 种 ) 识 别 病 梢 的 特征 ,然后 告 
诉 人 体 的 淋巴 细胞 这 些 入 侵 敌 人 的 性 质 。 这 时 也 细胞 将 被 激活 转化 成 浆 细 胞 ,充当 病菌 
杀手 的 作用 。 如 果 人 体 已 经 有 细胞 感染 了 病毒 ,就 由 细胞 毒 T 细胞 负责 将 其 分 解 和 消 
灭 。 最 后 病菌 被 消 炙 了 ,B 细胞 和 人 工 细 胞 中 有 杀 死 该 病 阔 能 力 的 细胞 被 分 解 , 留 下 B 记 
忆 细 胞 和 人 工 记 忆 细 胞 把 这 些 病菌 的 片段 (也 就 是 抗原 ) 记 忆 下 来 ,继续 监视 病菌 的 下 次 
入侵 。 


7.1.3 二 进 制 模型 


1986 年 Farmer“ 以 免疫 网 络 为 原型 提出 了 免疫 系统 模型 (二进制 ), 为 了 抓 住 
Jerne'213 提 出 的 独特 型 网 络 的 本 质 ,Farmer 忽略 了 工 细 胞 ` 巨 叭 细胞 等 免疫 系统 重要 元 
素 ,把 重心 放 在 B 细胞 表层 的 抗体 和 抗原 之 间 的 机 制 上 。 抗 体 的 简单 结构 如 图 7. 2 所 
IR ,每 个 抗体 都 有 抗体 决定 得 和 抗原 决定 基 。 和 实际 免疫 系统 一 样 ,抗体 和 抗原 的 亲 和 程 
度 由 它 的 抗体 决定 复 和 抗原 的 决定 基 的 匹配 程度 决定 。 同 时 抗体 还 有 抗原 决定 基 , 它 对 
其 他 的 抗体 来 说 也 是 一 个 特殊 的 “抗原 ”, 它 们 之 间 的 亲 和 度 由 它 的 抗原 决定 基 和 其 他 抗 


抗体 抗体 上 表现 型 
Cr Pk 


rroro1010 Pf oon 


图 7.2 B 细 胞 抗体 结构 图 


第 / 章 ”免疫 算法 


体 的 抗体 决定 簇 的 匹配 程度 决定 。 在 模型 中 Farmer 首先 用 二 进 制 串 表示 那些 描述 了 抗 
体 决 定 徐 和 抗原 决定 基 性 质 的 氨基 酸 序列 ,然后 假设 每 个 抗原 和 每 个 抗体 型 分 别 只 有 一 
个 抗原 决定 复 ( 实 际 它 们 都 有 许多 不 同类 型 的 抗原 决定 基 )。 通 过 这 些 决定 基 之 间 的 匹配 
程度 控制 不 同类 型 抗体 的 复制 和 减少 ,以 达到 优化 系统 的 目的 。 

二 进 制 模型 模仿 了 免疫 系统 的 工作 原理 ,主要 涉及 识别 和 刺激 两 方面 的 内 容 。 

识别 : 每 个 抗体 可 以 用 (e,p) 的 二 进 制 串 表示 ,匹配 通过 计算 两 个 串 之 间 的 互补 字符 
个 数 1 决定 ,e 表示 抗原 决定 基 ,p 表示 抗体 决定 秘 , 它 们 的 长 度 分 别 是 Lly (所 有 的 抗体 
或 抗原 的 这 两 个 长 度 均 相同 ) ,s 表示 一 个 匹配 阔 值 , 当 s 三 min{fz ,ly} 时 免疫 反应 发 生 , 亦 
称 两 串 相 互 识别 ,否则 不 发 生 反 应 。 设 e;(n) 表 示 第 i 个 抗原 决定 基 的 第 nn 位 ,p;(n) 表 示 
第 i 个 抗体 决定 徐 的 第 n 位 。 串 匹配 的 运算 用 异 或 运算 符 “^”( 两 个 0 一 1 字符 不 相同 返 
回 1, 相 同 返回 0) ,匹配 特异 矩阵 为 : 

ms = >) G( Dien +k) A pi(m—st+1) (7.1) 


s 表示 匹配 的 国 值 ,& 表示 串 之 间 的 错位 长 度 ,” 表 示 串 的 具体 哪 位 ,; 和 7 表示 具体 哪个 
抗体 或 抗原 的 某 种 决定 基 ( 族 ) ,其 中 : 
Ge = 5 oe (7. 2) 
0, «<0 
要 根据 公式 (7.1) 算 出 mm; 必须 求 出 & 的 所 有 情况 之 和 ,但 实际 上 大 可 不 必 , 如 图 7.3 
所 示 , 只 需求 一 2 三 k 三 2 的 情况 即 可 。 图 7. 3 所 示 的 是 抗体 i 的 抗体 决定 徐 和 抗体 j 的 抗 
原 决定 基 在 k= 二 一 1 时 的 匹配 情况 。 这 个 时 候 i 的 抗体 决定 徐 和 j 的 抗原 决定 基 之 间 共 
有 6 个 互补 字符 。 所 以 如 果 定 义 匹 配 阔 值 ;二 6 则 两 个 串 不 相互 匹配 ,否则 相互 匹配 。 


ei 


Pi 
oo olor 
loliolllollolo ~ | 
ej 


Pj 


图 7.3 抗体 ;的 抗体 决定 复 和 抗体 7 的 抗原 决定 基 在 k= 二 一 1 时 的 匹配 情况 


模型 还 指出 当 一 个 也 淋巴 细胞 识别 一 个 抗原 决定 基 时 , 它 受 到 刺激 并 分 裂 , 产 生 更 
多 表面 附着 相同 抗体 类 型 的 B 淋巴 细胞 (此 处 简化 免疫 学 的 原理 ,把 自由 抗体 和 B 细胞 
的 抗体 集中 ) 。 

刺激 : 前 面 所 说 的 二 进 制 串 之 间 的 匹配 ,其 目的 是 为 了 刺激 新 的 抗体 的 生成 。 文 献 L4] 
以 两 个 抗体 的 相互 识别 为 例 ,抗体 A 的 抗体 决定 簇 能 识别 ( 即 匹 配 个 数 1 大 于 国 值 ;) 抗 
体 B 的 抗原 决定 基 , 首 先导 致 抗体 A 以 固定 概率 大 量 繁殖 ,同时 逐渐 清除 抗体 B。 这 样 
就 通过 抗体 决定 簇 和 抗原 决定 基 之 间 的 作用 控制 了 一 类 抗体 的 复制 和 另 一 类 抗体 的 
消亡 。 

下 面 建立 相应 的 微分 方程 模型 的 , 设 N 种 类 型 的 抗体 ,浓度 为 {zi re ott or, } on 种 类 
型 的 抗原 ,浓度 为 {y ,y,，…,y} ,这 里 的 浓度 就 是 某 类 抗体 或 抗原 的 具体 数量 。 那 么 抗 
体 浓度 的 变化 方程 为 : 
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N N N 
x; = c| Š mazz; — kı Di myxiz; + Dj mpxiy; |— box, (7,3) 
j=l j=l j=l 


此 处 1 二 1,… ,n,m 表示 抗体 i MAR j Cok et Ue 力 在 匹配 特异 矩阵 特定 位 置 的 值 。 
公式 (7.3) 各 部 分 的 作用 如 图 7.4 所 示 。 


-~ ZTN ZTN PP 
| 


N A ` N H N nf ` / \ 
X= CLG KAM ty oY kr) (7.3) 
j=l 4 JFN > UN 7 ~ / 


~~ — _ 


;型 抗体 的 抗体 决定 族 受 到 7 随 大 时 间 的 推移 , 含有 抗体 
型 抗体 的 抗原 决定 基 的 刺激 细胞 以 ky 决定 的 速率 减少 


i 型 抗体 的 抗原 决定 基 被 j i 型 抗体 的 抗体 受到 型 
型 抗体 的 抗体 决定 簇 识别 抗原 的 抗原 决定 基 的 刺 
后 ， 对 i 抗体 的 抑制 激 , 即 抗原 驱动 


图 7.4 免疫 系统 的 微分 方程 模型 各 部 分 的 作用 


模型 的 基本 要 素 是 : 当前 列 出 的 抗原 和 抗体 类 型 都 是 动态 变化 的 ,会 随 着 新 的 类 型 
而 增加 或 减少 。 同 时 公式 (7.3) 中 的 N 和 也 是 随时 间 变 化 的 ,当然 它们 变化 的 速度 分 
别 远 小 于 浓度 x: M y: 的 变化 速度 。 抗 体 和 抗原 的 动态 调整 规则 分 别 如 图 7. 5 和 图 7. 6 
TAN o 


抗体 的 浓度 是 
否 低 于 国 值 


E 一 是 否 需要 淋巴 细 


低 浓 度 抗原 类 型 死亡 


对 抗体 决定 族 和 抗原 


决定 基 使 用 以 下 遗传 RIEDE 


类 型 的 死亡 


否 20 AY N Æ 


过 去 消失 的 抗原 重复 
出 现 或 用 遗传 算 子 生 


成 新 的 抗原 


图 7.5 抗体 调整 流程 图 图 7.6 抗原 调整 流程 图 
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抗原 和 抗体 类 型 的 自我 更 新 是 一 个 十 分 重要 的 性 质 , 有 了 这 个 性 质 系 统 才能 用 有 限 
的 已 知 细胞 搜索 新 的 空间 。 抗 体 的 初始 化 采用 随机 的 方法 ,而 抗原 的 初始 化 可 以 用 随机 
化 方法 也 可 以 用 某 种 指定 的 策略 。 系 统 同 时 具有 “人 免疫 遗忘 ”和 “免疫 记忆 ”的 功能 。 免 疫 
遗忘 是 指 经 过 一 定时 间 没 有 被 使 用 的 分 子 将 被 消除 。 人 免疫 记忆 根据 的 免疫 学 原理 是 病原 
体 被 消灭 后 ,B 细胞 也 进入 休眠 状态 ,但 是 抗原 仍然 能 被 记忆 很 长 的 时 间 ( 现 实生 活 中 具 
体 的 抗原 能 被 记忆 多 长 的 时 间 , 对 于 医学 工作 者 仍然 是 未 解 之 谜 )。 通 过 独特 型 网 络 , 文 
献 [4] 给 出 了 模型 具有 记忆 能 力 的 最 好 的 解释 ,图 7.7 详细 地 解释 了 抗体 是 怎么 通过 形成 
记忆 环 记 住 抗 原 的 。 假 设 抗体 集合 Ab, 表示 所 有 识别 抗原 的 抗体 ,Ap 表示 所 有 能 识别 
Ab, 的 抗原 决定 基 的 抗体 集合 ，……… Ab, 表示 所 有 能 识别 A5,-1 的 抗体 决定 基 的 抗体 集 
合 ,最 后 Ab, 的 抗原 决定 基 又 能 被 Ab1 的 抗体 决定 徐 所 识别 ,那么 即使 没有 抗原 ,抗原 的 
形状 也 会 被 记忆 在 Ab, 中。 
抗体 


通过 一 个 长 度 为 4 的 抗体 相互 识别 的 环 , eo 被 抗体 记 住 


图 7.7 抗体 记忆 环 


7.2 人 免疫 算法 的 基本 流程 


72.1 基本 流程 


免疫 系统 虽然 早 在 20 世纪 70 年 代 就 已 经 被 人 们 提出 ,但 是 一 直到 20 世纪 90 年 代 
日 本 的 Kazuyuki Mori 等 人 5 最早 提出 免疫 算法 ,而 韩国 的 Jang-Sung Chun 等 人 95 对 
免疫 算法 的 研究 取得 了 突破 性 的 进展 。 本 小 节 首 先 给 出 免疫 系统 和 免疫 算法 的 联系 
( 表 7.1)! ,然后 介绍 公认 的 免疫 算法 的 流程 图 ,最 后 结合 文献 L11] 对 算法 的 每 一 步 进行 
具体 分 析 ,使 读者 明白 运用 免疫 算法 求解 最 优化 问题 的 大 致 过程 。 
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表 7.1 免疫 系统 和 免疫 算法 的 比较 


免疫 系统 免疫 算法 
抗原 要 求解 的 问题 
抗体 最 佳 解 问 量 
抗原 识别 问题 识别 
从 记忆 细胞 产生 抗体 联想 过 去 的 成 功 解 
淋巴 细胞 分 化 (记忆 细胞 分 化 ) 维持 最 优 解 
T 细胞 抑制 消除 多 余 的 候选 解 
抗体 生命 增加 (细胞 克隆 ) 用 遗传 算 子 生成 新 的 抗体 


算法 是 针对 一 般 优化 问题 提出 的 ,免疫 
算法 的 基本 流程 图 如 图 7.8 所 示 。 人 免疫 算法 
假设 抗原 (目标 函数 ) 有 一 个 ,抗体 (最 优化 
解 ) 有 若干 个 ,抗体 的 性 质 被 统一 到 一 个 长 度 
为 M( 和 具体 问题 有 关 ) 的 独特 型 串 中 ,例如 
第 v 个 抗体 的 独特 型 串 为 {abl ab? ,… ,ab™”)。 
算法 将 通过 抗体 和 抗体 ,以 及 抗体 和 抗原 之 
间 的 亲 和 度 来 控制 抗体 的 新 陈 代谢 过 程 , 达 
到 免疫 系统 的 记忆 、 学 习 和 自 适 应 的 功能 ,以 
实现 果 数 优化 。 基 本 的 免疫 算法 主要 包括 以 
下 七 个 方面 的 要 素 。 

1. 识别 抗体 3 

把 目标 函数 和 约束 作为 抗体 。 

2. 生成 初始 化 的 抗体 

随机 生成 独特 型 串 维 数 为 M 的 NN 个 


抗原 识别 
初始 抗体 产生 


杀 和 力 计 算 
抗体 产生 的 促进 和 抑制 


记忆 细胞 分 化 


抗体 。 图 7.8 免疫 算法 流程 图 
3. 计算 亲 和 度 
(1) 抗体 v 和 抗原 的 亲 和 度 为 ax.: 
Cu 一 E (7.4) 


其 中 opt, 表示 抗体 v 和 抗原 的 结合 强度 ,对 最 优化 问题 ,可 以 用 抗体 v 的 独特 型 的 解 和 
已 知 的 最 优 解 的 相似 程度 表示 ,例如 对 函数 f= a? +23 +22,2,€[—10, 10],i 二 1,2,3， 
求 最 小 值 ,已 知 的 最 优 解 是 0, 那 么 抗体 v 9 opt, 就 是 其 所 代表 的 解 在 该 函数 下 的 适应 
值 。 若 是 一 个 最 大 化 问题 , 则 opt, = 。 其 中 /是 最 优 解 的 适应 值 ,f, 是 抗体 


v 的 适应 值 。 
(2) 抗体 v 和 抗体 w 的 亲 和 度 为 : 


l 


AY vw 一 1 二 EC2) & a) 
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HEP EODH v 和 ww 的 平均 信息 焙 。 通 过 这 些 平均 信息 炉 , 算 法 实现 了 多 样 化 。 下 面 简 单 介 
绍 一 下 信息 焙 。 基 因 的 信息 烂 如 图 7. 9 所 示 。 
免疫 系统 有 N 个 抗体 ,有 M 个 基因 (或 独特 
型 串 的 长 度 为 M), 第 7 个 基因 的 信息 炉 为 
E,(N): : 


| | 
N | ! 
EN) = 2) ploges 0 wuts] ||| i fan] ST] 
i=l 
| 
| 


| | 


其 中 KK 表示 独特 型 串 的 字母 表 的 长 度 , 奉 为 二 进 
制 数 就 是 2, 表示 选择 第 i 个 抗体 的 第 j 位 等 | 


位 基因 的 概率 ,很 明显 2 ps = 1, 所 以 代表 多 


\ / 


\/ 
M 
E(N) = >> E,(N) (7.7) 图 7.9 ARAB 
j=l 


4. 记忆 细胞 分 化 

与 抗原 有 最 大 亲 和 度 的 抗体 加 入 了 记忆 细胞 。 由 于 记忆 细胞 数目 有 限 ,因此 新 生成 
的 抗体 将 会 代 蔡 记忆 细胞 中 和 它 有 最 大 亲和力 者 。 

5. 抗体 促进 和 抑制 

通过 计算 抗体 wv 的 期 望 值 ,消除 那些 低 期 望 值 的 抗体 。 稀 单 地 说 本 步 又 就 是 促进 融 
亲 和 度 、 低 密度 的 个 体 。 抗 体 wv 的 期 望 值 e。 的 计算 公式 为 : 


aL y 


a= Cy, 8) 
其 中 抗体 v 的 密度 的 计算 法 方法 如 下 : 


c, —— (7.9) 


其 中 gq, 表示 和 抗体 & 有 较 大 亲和力 的 抗体 。 通 过 这 个 公式 能 有 效 地 抑制 抗体 的 过 分 相 
似 , 避 免 算法 的 未 成 熟 收敛 。 

6. 产生 新 的 抗体 

根据 不 同 抗体 和 抗原 亲和力 的 高 低 , 使 用 轮 盘 赌 的 方法 ,选择 两 个 抗体 。 然 后 把 这 两 
个 抗体 按 一 定 变异 概率 做 变异 ,之 后 再 做 交叉 ,得 到 新 的 抗体 。 重 复 操作 步骤 6 直到 产生 
所 有 N 个 新 抗体 。 可 以 说 免疫 算法 产生 新 的 抗体 的 过 程 需要 遗传 算 子 的 辅助 。 

7. 结束 条 件 

如 果 求 出 的 最 优 解 满足 一 定 的 结束 条 件 , 则 结束 算法 。 
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7.2.1 小 节 详 细 介 绍 了 Jang-Sung Chun 等 人 改进 的 基本 免疫 算法 ,但 是 这 个 算法 目 
前 还 只 能 应 对 单 目标 的 最 优化 问题 ,本 节 将 介绍 如 何 将 原 有 的 基本 免疫 算法 扩展 到 更 多 
的 问题 上 。 


1. 求解 多 目标 优化 问题 的 免疫 算法 
对 于 多 目标 优化 问题 ,可 以 把 抗原 扩展 到 工 个 (L 和 具体 的 目标 数目 相等 ) ,并 把 抗 
体 v 和 抗原 xw 的 亲 和 度 az... BPE LH: 


一 
1 + Opti. 


其 中 opt... NTA v 和 抗原 w N25 A oR RE . BUCA v Æ H bp PR we AP TY iP AUE PR A ae 
优 解 的 接近 程度 ,至 于 算法 的 其 他 步骤 ,变化 不 大 。 

2. 求解 更 一 般 问 题 的 免疫 算法 

为 了 求解 更 多 的 问题 ,需要 对 抗原 的 基因 型 进行 和 抗体 一 样 的 编码 。 这 里 首先 简单 
介绍 免疫 系统 的 形态 空间 模型 中 ,图 7. 10 中 
e 表示 抗体 , X 表示 抗 原 ,V。 是 抗体 可 识别 的 
空间 ,e 是 识别 空间 的 半径 ,V 则 是 包含 所 有 抗 
原 的 空间 。 

根据 图 7.10, 一 个 抗体 可 以 识别 在 其 识别 
空间 内 的 所 有 抗原 ,同时 抗原 也 能 被 不 同类 型 
的 抗体 所 识别 ,因此 有 限 的 抗原 一 定 能 被 有 限 
的 抗体 所 识别 。 

假设 在 形态 空间 内 ,抗体 v 和 抗原 的 坐标 
分 别 为 {abl sab? +++ ,abM } Ail{ag' ag stag” y, 
v 王 1,… ,NN, 那 么 它们 之 间 的 距离 如 下 。 

Manhattan 距离 : 


(7. 10) 


aL ow 


M 
= | >) |abi —ag'| (7.11) 
i=] 
Euclidean 距离 : 
D= (7.12) 
Hamming 距离 : 
x 1, abi, Fag’ 
b= 二 二 | | (7. 13) 
二 ] 0， 其 他 


选用 哪个 距离 公式 和 具体 问题 有 关 , 也 和 使 用 者 假设 的 空间 有 关 。 
同 理 可 以 求 出 抗体 之 间 的 距离 ,然后 只 需 改 变 上 一 节 的 步骤 6 中 亲 和 度 的 计算 公式 ， 
就 可 以 扩展 到 求 一 般 问 题 的 免疫 算法 。 此 时 亲 和 度 的 计算 公式 如 下 : 


l 


aY vw 一 1+H.. (7. ii») 
Hp t 为 抗体 ww 和 抗原 的 距离 , 互 ,. 为 抗体 w 和 抗体 w 的 距离 。 
形态 空间 模型 下 的 基本 免疫 算法 在 其 他 的 部 分 都 没有 变化 , 均 和 Jang-Sung Chun 的 
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基于 烂 的 基本 免疫 算法 相同 。 当 抗原 不 止 一 个 时 ,也 可 以 用 上 面 所 讲 的 求 多 目标 问题 的 
扩展 方法 对 算法 进行 必要 的 修改 。 


7.3 BARBRA 


73.1 负 选 择 算 法 


1994 年 , Forrest5 写 根据 免疫 系统 的 自体 - 非 自 体 识 别 原理 ,提出 了 负 选 择 算 法 
(Negative Selection Algorithm ,NSA) 。 免 疫 系统 能 识别 非 自体 依靠 的 是 工 细胞 表面 的 
受 体 ,这 些 受 体 和 所 有 的 自体 ( 吴 体 的 需 官 ,组 织 和 细胞 ) 都 是 不 相 匹 配 的 ,如 果 接 收 顺 和 
某 个 蛋白 质 分 子 匹配 , 即 可 以 认为 它 是 非 自 体 ,并 消灭 之 。 

在 文献 L12j] 中 ,虽然 作者 最 初 用 全 细胞 的 负 选 择 思想 实现 了 计算 机 病毒 检测 的 实 
验 , 但 是 由 此 产生 的 算法 还 可 以 运用 于 模式 识别 .分 类 等 许多 领域 。 就 像 前 面 所 阐述 的 那 
样 ,我 们 把 要 识别 并 保护 的 文件 (或 数据 ) 作 为 目 体 (Self) ,在 程序 中 可 以 假设 它们 是 一 个 
字符 串 的 集合 SOWA BEA n) ,具有 识别 功能 的 接收 响 作 为 检测 天 (Detector) 即 抗体 ， 
在 程序 中 可 以 假设 为 一 个 字符 串 的 集合 尺 ( 所 有 串 长 为 2) ,算法 的 主要 目的 是 先 求 一 个 
和 SARER 集合 ,然后 用 尺 集合 判断 S 集合 是 否 发 生 了 变化 。 

算法 分 成 两 步 , 第 一 步 是 初始 化 ,初始 化 一 个 等 长 度 的 串 集合 S 作为 自体 (一 个 受 保 
护 的 集合 ) ,然后 初始 化 串 集 合 Ro ,选择 其 中 不 和 S 集合 中 任何 串 匹 配 ( 关 于 匹配 的 原则 
会 在 本 小 节 的 后 面 提 到 ) 的 串 保 留 下 来 ,其 余 的 舍弃 ,成 为 新 的 串 集 合 尺 , 即 监 测 细 。 初 始 


os i at R 的 过 程 如 图 7.11 所 示 。 


把 Ro 中 不 和 5 中 任何 的 串 匹 配 的 
IMA RR. VEJ HW at 


图 7.11 pee He ee i a R 


RIE AD ER CA AE S 随机 变异 某 些 字 节 或 某 些 部 分 ,然后 用 监测 需 RAL 
的 串 集 合 S 做 匹配 运算 ,如 果 两 个 集合 有 匹配 的 串 被 找到 , 则 算法 结束 并 报告 探测 到 保 
护 数据 S 被 感染 ( 即 S 已 经 不 是 自体 ); 如 有 果 找 不 到 , 则 本 次 算法 失败 。 监视 保 护 数据 S 的 
过 程 如 图 7.12 Bras. 

还 有 一 点 需要 注意 的 是 ,两 个 字符 串 采 用 部 分 匹配 的 方法 检测 是 否 发 生 匹 配 , 即 当量 
仅 当 两 个 串 至 少 有 ro 个 连续 位 取 值 相同 时 ,我 们 称 这 两 个 串 匹 配 。 例 如 

S:abcdefx 


T: amndefx 


Ye 没有 探测 到 
探测 到 非 自 体 


图 7.12 监视 保护 数据 S 


上 面 两 个 串 S 和 T 荆 的 最 大 连续 匹配 长 度 为 3, 车 匹配 国 值 三 3 则 S 和 T 工 匹配 ,否则 就 不 
DU WC 。 

负 选 择 算 法 的 主要 性 质 呈 是: 第 一 ,所 有 监测 器 独立 行使 职能 而 不 需要 交流 ,通过 多 
个 监测 器 可 以 覆盖 非 自 体 各 个 不 同 部 分 。 第 二 ,如 果 假 设 一 个 封闭 世界 和 自体 完整 规定 ， 
通过 仔细 地 选择 监测 器 就 不 会 有 错误 肯定 的 情况 ,而且 本 算法 不 会 有 错误 否定 的 机 会 。 
目前 本 算法 已 经 在 信息 处 理 、 免 疫 自 适应 研究 和 解决 计算 机 领域 一 些 悬 而 未 决 的 难题 上 
得 到 广泛 的 运用 ,其 中 Dasgupta 和 Forrest 提出 了 用 负 选 择 算 法 判断 一 般 时 间 系 列 数 
据 中 的 异常 。 总 的 来 说 , 负 选 择 算 法 在 判断 系统 是 否 正常 工作 方面 有 十 分 显著 的 优势 , 它 
提供 的 思想 可 以 融合 到 别 的 算法 里 发 挥 新 的 功效 。 


73.2 克隆 选择 算法 


根据 Farmer' 生 所 描述 的 ,每 个 BB 淋巴 细胞 的 表面 能 产生 大 约 105 个 抗体 ,这 些 抗体 都 
有 作为 监测 右 的 独特 的 抗体 决定 簇 探测 是 否 有 与 之 匹配 的 抗原 决定 基 。 如 果 某 个 BB 淋 
巴 细胞 探测 到 和 它 相 匹配 (匹配 就 是 可 以 相互 识别 , 详 见 7.1.3 小 节 二 进 制 模型 ) 的 抗原 
决定 基 , 就 会 诱导 系统 复制 出 更 多 同类 型 的 B 淋巴 细胞 来 ,当然 也 产生 更 多 的 相应 的 抗 
体 。 这 种 只 刺激 有 用 抗体 的 B 淋 巴 细 胞 的 复制 过 程 就 是 克隆 选择 。 

图 7.13 简单 地 勾画 了 克隆 选择 原理 ,抗原 的 抗原 决定 基 的 表现 型 为 {1110011})， 
在 抗体 中 仅 有 2 号 和 它 完 美 匹配 ,7 号 是 部 分 匹配 ,所 以 骨髓 刺激 2 号 抗体 大 量 繁 殖 ， 
7 号 抗体 少量 繁殖 ,而 其 他 的 抗体 则 不 再 分 裂 ,等待 细 胞 的 死亡 。 在 这 个 原理 的 基础 
上 ,De Castro' 站 提出 了 克隆 选择 算法 ,他 只 关注 抗体 和 抗原 的 亲 和 度 对 B 细胞 的 复制 
的 影响 ,而 不 考虑 抗体 之 间 的 亲 和 度 ,所 以 后 面 讲 述 的 克隆 选择 算法 都 不 要 求 抗体 之 
间 的 亲 和 度 。 我 们 先 给 出 其 流程 图 ,然后 对 各 部 分 进行 分 析 。 其 中 元 隆 算 法 有 下 面 几 
个 要 点 [J[9]， 
保持 功能 性 的 记忆 细胞 从 指令 系统 分 离 ; 
受 刺激 性 最 强 的 个 体 的 选择 和 克隆 ; 


。 不 受 刺 激 的 个 体 的 死亡 ; 
。 亲 和 度 的 成 熟 和 高 亲 和 度 克隆 分 子 的 再 选择 ; 
。 产生 和 维持 多 样 性 ; 


和 细胞 亲 和 度 成 比例 的 高 频 变异 。 
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图 7.13 克隆 选择 原理 


如 图 7. 14 所 示 ,克隆 选择 算法 (Clone Selection Algorithm,CSA) 分 为 六 个 部 分 : 


图 7.14 克隆 选择 算法 流程 图 


C1) 产生 候选 解 集 PP, 它 由 记忆 细胞 子 集 M 和 剩余 群体 P, 组 成 , 即 P= P,+M; 

(2) 根据 亲 和 度 的 计算 ,从 P PRE n 个 最 好 的 个 体 组 成 集合 Pns 

(3) 克隆 P, 中 的 所 有 个 个 体 ,产生 一 个 临时 的 克隆 群体 C, 这 个 群体 C 的 规模 是 
PEIRA AIRE RE T HME IH PK ŽC 


(4) 群体 C 经 过 与 抗原 亲 和 度 成 比例 的 高 频 变 异 ,形成 一 个 成 熟 的 群体 C” ; 

(5) 在 C 中 重 选择 改进 个 体 组 成 记忆 集合 。 已 集合 中 的 一 些 成 员 能 够 被 C ” 的 其 他 
成 员 所 取代 ; 

(6) 取代 群体 P 中 4 个 亲 和 度 最 低 的 抗体 ,维持 多 样 性 。 

2002 年 De Castro“ 在 原来 的 论文 轨 的 基础 上 ,继续 改进 克隆 选择 算法 以 求解 模式 
识别 和 优化 问题 。 算 法 假设 在 形态 空间 下 ,表示 抗体 和 抗原 基因 型 的 字符 串 长 度 均 为 工 ， 
而 S 表示 形态 空间 的 合适 坐标 轴 。 下 面 先 来 定义 一 组 变量 : 

。 Ab: 可 用 抗体 表 (ADE SN ,AD=Ab,,, U Abin); 

© Abim: 记忆 抗体 表 (Abim ES”, mN); 

。 Abin: 剩余 抗体 表 (Ap ES™YIi,r = N—m); 

e Agim: 被 识别 的 抗原 群 (Agw i 

。 fj: 和 抗原 Ag; 相关 的 亲 和 度 向量 ; 

。 Abin: Ab PHA Ag; 有 最 高 亲 和 度 的 nn 个 抗体 (Abi, E S™' ,n 三 NN); 

e C: APbi,) 中 NN, 个 克隆 体 组 成 的 群体 (C’E€ SNE); 

。 Os C 经 过 亲 和 度 成 熟 ( 高 频 变异 ) 后 转变 成 的 群体 ; 

© Abin: Abiy P d 个 低 亲 和 度 的 抗体 被 C ”里面 d 个 分 子 取代 (Ap ES ,ds 三; 

。 Ab; : 准备 放 入 记忆 抗体 的 来 自 C* 中 的 抗体 。 

文献 [14] 的 克隆 选择 算法 给 出 了 二 进 制 字 符 识 别 问 题 和 优化 问题 的 流程 ,下 面 将 对 
它们 分 别 进行 介绍 。 死 隆 选择 算法 模式 识别 流程 图 如 图 7. 15 所 示 。 

1. 二 进 制 字符 识别 问题 

第 1 步 , 随 机 选择 一 个 抗原 Ag; (Ag;E€ Ag) 让 它 刺 激 抗体 集合 Ab=Ab,,, U Abim (Cr 十 
m 二 N) 中 所 有 抗体 ; 

第 2 步 ,计算 Ab P N 个 抗体 的 亲 和 度 向 量 方 ; 

第 3 步 ,选择 Ab 中 和 抗原 Ag; 亲 和 度 最 高 的 n 个 抗体 组 成 新 的 集合 Apfw ; 

第 4 步 ,Abi,) 集 合 的 抗体 会 根据 它们 各 自 亲 和 度 的 高 低 依 照 一 定 比 例 产 生 新 的 元 隆 
体 , 组 成 克隆 体 的 集合 C Abin 的 这 个 抗体 和 抗原 的 亲 和 度 越 高 ,它们 自己 的 克隆 体 
越 多 ; 

第 5 步 , 集 合 C 的 所 有 抗体 经 过 和 亲 和 度 相关 的 变异 过 程 产生 成 熟 的 殉 隆 体 集合 
C” , 杀 和 度 越 高 ,抗体 变异 率 越 低 ; 

第 6 A IG MA ERG C ”和 抗原 Ag; AME 万 ; 

第 7 步 , 重 新 选择 集合 C 的 克隆 体 中 和 Ag; 亲 和 度 最 高 的 一 个 抗体 放 入 记忆 细胞 
集合 Ab {m} 中 ,如 果 这 个 抗体 对 抗原 Ag, 的 亲 和 度 高 于 原 有 的 记忆 细胞 , 则 取代 之 ; 

第 8 步 , 用 C 的 4 个 抗体 取代 Ab1, 集 合 中 和 抗原 Ag, 亲 和 度 最 低 的 d 个 抗体 。 

当 所 有 的 M 个 抗原 都 执行 过 一 次 上 面 的 过 程 后 ,我 们 就 称 算法 执行 了 一 代 , 图 7. 16 
用 流程 图 和 伪 代 码 的 方式 重新 诠释 了 上 述 过 程 。 而 且 在 上 面 算法 第 3 步 后 ,n 个 亲 和 度 
最 高 的 抗体 将 被 按照 亲 和 度 从 高 到 低 排序 ,这 样 它 们 具体 的 克隆 体 数量 可 以 用 下 面 的 公 
式 计算 : 
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图 7.15 克隆 选择 算法 模式 识别 流程 图 图 7.16 克隆 选择 算法 优化 问题 流程 图 
N. = >) round (5) (7.16) 
i=] 


其 中 N. 是 克隆 体 集合 C’ 的 抗体 总 数 ,8 EP I TB A round C + ) JE BUR ph AC. XTE 
和 度 最 高 的 抗体 , 即 它 的 下 标 为 ;= 王 1, 如 果 8=1、N=100, 那 么 这 个 抗体 需要 克隆 100 个 ， 
此 时 排名 第 二 高 的 抗体 需要 克隆 50 个 。 

2. 优化 问题 

克隆 选择 算法 仅仅 需要 做 一 些 很 小 的 改变 ,就 能 将 上 面 求 模 式 识 别 的 流程 运用 到 求 
最 优化 问题 中 ,如 图 7.16 所 示 , 对 单 目 标 优化 问题 ,具体 的 改变 有 : 

d) 第 1 步 ,没有 明确 的 需要 识别 的 抗原 ,而 是 需要 最 优化 的 一 个 目标 函数 g(。)。 
抗体 对 抗原 的 亲 和 度 可 以 看 做 目标 函数 的 解 : 每 个 抗体 Ab: 表示 一 个 输入 空间 的 元 素 。 
此 外 ,抗体 集合 Ab 的 全 体 抗 体 都 作为 记忆 细胞 ,没有 必要 维护 一 个 单独 的 集合 Abim To 

(2) 在 第 7 步 ,n 个 抗体 从 C* 中 被 选 出 来 形成 新 的 集合 A2, 而 不 必 选 择 一 个 最 佳 个 
体 Ab* 。 
如 果 想 用 一 个 抗体 群 确定 问题 的 多 个 最 优 值 ,还 需要 确定 两 个 变量 : 
(1) 设 定 z= 一 N, 即 A2 中 所 有 抗体 在 第 3 步 都 被 选 来 殉 隆 。 

(2) 按 下 面 公 式 确定 Abin 中 抗体 克隆 的 数目 


N, = >) round (Bx N) (7.17) 


即 Ab 中 所 有 抗体 的 克隆 体 数量 都 是 一 样 多 的 , 亲 和 度 仅仅 影响 变异 的 概率 。 在 第 5 步 
中 , 亲 和 度 越 高 的 克隆 体 ,变异 概率 越 低 。 
CSA09I 有 执行 学 习 和 维持 高 记忆 性 的 能 力 ,还 有 极 强 的 全 局 搜索 能 力 , 它 能 解决 复 
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杂 的 工程 问题 ,例如 多 峰 困 数 优化 和 组 合 优化 问题 。De Castro 称 上 面 的 两 种 算法 为 
CLONALG ,算法 最 初 用 来 完成 机 器 学 习 和 模式 识别 的 任务 ,其 中 输入 的 模式 被 当做 可 以 
识别 的 抗原 。 由 于 算法 的 进化 特性 , 它 还 能 求解 优化 问题 ,特别 是 多 峰 ( 男 数 ) 问 题 。 对 一 
个 给 定 输入 优化 得 到 的 函数 值 可 以 当做 对 抗原 的 亲 和 度 。 在 算法 看 来 ,B 细胞 和 它们 的 
受 体 没有 区 别 , 这 样 编排 和 细胞 重 排 的 过 程 就 是 一 样 的 ,它们 都 导致 了 算法 的 多 样 性 , 拓 
宽 了 亲 和 度 的 探索 范围 。 许 多 启发 式 算 子 如 某 种 特殊 的 变异 可 以 根据 具体 的 问题 而 变 
化 ,以 改进 结果 。 通 过 和 遗传 算法 的 比较 以 及 对 计算 结果 的 分 析 , De Castro 等 人 认为 
CSA 能 保持 局 部 优化 解 的 多 样 性 ,而 遗传 算法 趋 回 于 把 整个 群体 绷 最 佳 解 的 方 回 发展。 
之 所 以 如 此 是 因为 CSA 的 选择 和 有 再 生产 机 制 以 及 CSA 的 第 2.3 步 。 从 本 质 上 说 CSA 
和 GA 的 编码 方式 没有 区 别 , 但 是 它们 的 进化 搜索 过 程 在 不 同 局 发 原型 .词汇 和 基本 步 又 
上 却 是 不 同 的 。 目 前 还 不 能 证 明 CSA 比 GA 的 性 能 更 佳 ,但 是 CSA 算法 已 经 被 应 用 在 
分 类 、 多 目标 优化 和 模拟 复杂 自 适 应 系统 等 方面 2 ,在 图 像 处 理 避 .电磁 学 ”1 、 和 蛋白 质 结 
构 预 测 中 等 方面 CSA 也 得 到 了 一 定 的 应 用 。 


73.3 免疫 算法 和 进化 计算 


遗传 算法 (Genetic Algorithm, GA)" 产生 于 20 世纪 70 年 代 , 由 于 其 算法 步骤 简 

单 ,健壮 性 强 , 具 有 学 习性 和 并 行 计算 的 功能 等 多 种 特点 ,在 工程 领域 已 经 得 到 充分 的 利 
用 。 但 是 遗传 算法 也 面临 着 许多 亟待 解决 的 问题 ,例如 如 何 控制 收敛 方向 ,如 何 使 算法 有 
记忆 功能 ,如 何 把 前 一 代 的 性 质 有 效 地 遗传 

到 下 一 代 , 如何 把 遗传 算法 和 问题 的 解 空间 

相对 应 等 。 为 了 解决 这 些 问 题 ,学 者 们 提出 

了 免疫 遗传 算法 (Immune Genetic 
Algorithm, IGA) , 焦 李 成 2 对 IGA 的 建立 

做 了 有 建设 性 的 工作 ,为 了 和 免疫 系统 的 知 
识 对 应 ,在 文献 [18] 的 算法 里 把 种 群 的 每 个 

<a 个 体 看 做 一 个 抗体 ,把 抗原 看 做 求解 的 问题 ， 
k 把 适应 度 看 做 和 抗原 的 亲 和 度 ,把 个 体 的 基 
交叉 因 表现 型 看 做 抗体 的 抗体 决定 簇 , 即 抗体 字 


: 


符 串 。IGA 流程 图 如 图 7. 17 所 示 。 免 疫 遗 
传 算法 的 具体 步骤 如 下 ， 
注射 疫苗 (1) 创建 初始 随机 种 群 Ai ; 

(2) 根据 先 验 知 识 抽取 疫苗 ; 
(3) 如 果 当 前 群体 A GE k OUA RI 
个 体 则 停止 算法 ,否则 继续 ; 

(4) 对 A, 执行 交叉 操作 形成 临时 群 
tk B, 


(5) 对 B 执行 变异 操作 形成 新 的 临时 
图 7.17 免疫 遗传 算法 流程 图 HKC; 
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(6) 对 C 注射 疫苗 产生 Da; 

(7) 对 Dy 执行 免疫 选择 产生 成 熟 的 下 一 代 群 体 A ,然后 返回 步骤 (3 )。 

IGA 和 GA 最 大 的 不 同 之 处 在 于 两 个 地 方 "5 : 

(1) 注射 疫苗 : 所 谓 疫 苗 就 是 一 个 个 体 随 机 变异 铬 干 位 得 到 的 变异 体 ,是 根据 先 验 
知识 得 到 的 ,有 和 较 高 的 概率 得 到 更 高 的 适应 度 。 这 个 算 子 有 两 个 基本 条 件 : 第 一 ,变异 后 
的 个 体 所 有 位 置 的 字符 均 和 最 优 解 不 同 ,那么 变异 成 这 个 新 个 体 的 概率 为 0; 第 二 ,变异 
后 的 个 体 所 有 位 置 的 字符 均 和 最 优 解 相同 ,那么 变异 成 这 个 新 个 体 的 概率 为 1。 假 定 一 
个 群体 C= {ai 225° ,x,) ,将 有 nn 个 抗体 (其 中 二 nx*a) 从 群体 里 被 选 出 注射 疫苗 ,其 
中 a€(0, 1)。 

(2) 免疫 选择 : 这 个 算 子 也 分 为 两 步 : 第 一 步 称 为 免疫 测试 ,如 果 新 的 个 体 适 应 度 不 
如 老 的 个 体 , 则 还 是 用 老 的 个 体 参加 后 面 的 运算 ,否则 就 用 新 的 个 体 ; 第 二 步 , 称 为 退火 选 
择 , 在 当前 的 后 代 群 体 中 根据 公式 (7.18) 用 轮 盘 赌 的 思想 选择 一 个 个 体 r (i 二 1,…,n) 放 
入 新 的 父 种 群 Ar Po 


ef )/T, 


p(x) =—e (7. 18) 


2 ef(z/T, 
i=] 


其 中 f(x;) 是 个 体 x; EME, T, EAA F 0 的 温度 变量 。 

IGA 是 将 遗传 算法 和 免疫 系统 结合 而 产生 的 ,具有 两 者 的 优点 , 既 继承 了 遗传 算法 
的 健壮 性 、 自 适应 性 和 并 行 计算 性 ,又 有 免疫 算法 的 记忆 性 、 学 习性 和 自体 非 自 体 识别 
性 ,今后 必然 在 工程 和 研究 领域 有 更 深远 的 应 用 。 

虽然 免疫 算法 的 基本 原理 相当 复杂 ,但 是 研究 表明 我 们 可 以 抽取 其 中 茶 些 方面 做 算 
法 的 融合 ,而 且 免 疫 算 法 具有 很 强 的 融合 性 5 ,和 蚁 群 算法 "粒子 群 算法 "路 等 多 种 进化 


其 涉及 的 内 容 十 分 繁杂 ,这 里 就 不 再 详细 介绍 ,有 兴趣 的 读者 可 以 参考 文献 L5]、L9]。 

最 后 介绍 免疫 算法 的 分 类 ,根据 Dasguptal?™ 的 描述 免疫 算法 可 以 分 为 三 种 : 基于 人 工 
免疫 网 络 的 算法 、 负 选择 算法 .区 隆 选择 算法 。 加 上 近年 来 开始 流行 的 和 其 他 现代 算法 融合 
的 混合 算法 ,就 一 共有 四 种 。 基 于 网 络 的 免疫 算法 最 早 由 Jerne 提出 ,然后 经 过 Farmer“ 和 
De Castro!) 的 先后 完善 和 发 展 , 逐 渐 演 变 成 以 基本 免疫 算法 ( 见 7. 2. 1 节 基 本 流程 ) 为 主 
要 框架 ,以 Ab-Ag 相互 作用 为 基本 原理 的 算法 ,也 是 目前 应 用 最 广 , 研 究 最 深入 ,最 有 研究 
价值 的 算法 。 而 所 谓 的 混合 算法 是 指 把 免疫 算法 的 思想 融和 人 其 他 计算 智能 算法 (如 人 工 神 
经 网 络 , 蚁 群 算法 等 ) 形 成 的 新 算法 。 图 7. 18 简单 地 把 免疫 算法 分 成 了 四 种 类 型 。 


免疫 算法 


图 7.18 免疫 算法 的 分 类 
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计算 智能 


7.4 免疫 算法 的 相关 应 用 


20 世纪 90 年 代 后 , 随 着 成 熟 的 免疫 模型 的 建立 ,以 及 研究 人 员 对 免疫 学 原理 了 解 的 
深入 ,免疫 算法 不 再 是 一 个 单纯 的 理论 模型 , 它 以 其 独特 的 学 习性 .记忆 性 和 目 体 一 非 自 
体 识别 性 等 多 种 出 色 的 性 能 ,在 工程 应 用 领域 也 发 挥 着 日 益 重 要 的 作用 。 其 中 比较 有 参 
考 价值 的 综述 类 的 文献 有 [5]、[7]、[9]、[L21]。 


74.1 识别 和 分 类 应 用 


早期 的 免疫 系统 模型 是 为 了 识别 计算 机 病毒 而 设计 出 来 的 ,由 于 免疫 系统 强大 的 
识别 功能 ,在 识别 问题 上 免疫 算法 得 到 了 广泛 的 运用 。 模 式 识别 是 通过 计算 机 用 数学 技 
术 的 方法 来 研究 模式 的 自动 处 理 和 判 谈 ,简单 地 说 模式 识别 就 是 指导 计算 机 像 人 类 一 样 
具有 自动 的 对 环境 和 客体 的 感知 能 力 。 识 别 的 一 个 基本 问题 就 是 区 分 自体 和 非 自 体 , 这 
也 是 免疫 系统 消灭 病原 体 的 一 个 必然 的 过 程 ,所 以 免疫 算法 也 成 为 模式 识别 领域 的 研究 
热点 。 最 早 的 免疫 克隆 算法 就 是 用 于 字符 识别 问题 的 纪 ,另外 在 模式 识别 问题 上 Hunt 
和 Cooke 于 1996 年 提出 的 骨 艇 模型 2 也 备 受 人 们 关注 。 分 类 就 是 把 已 知性 质 的 一 个 群 
体 划 分 成 不 同 的 子 集 , 聚 类 就 是 在 不 知道 具体 参数 对 性 质 影 响 的 时 候 把 群体 中 的 个 体 按 
照 个 体 参 数 的 相似 度 划 分 成 不 同 的 子 集 。 人 免疫 算法 在 识别 和 分 类 中 的 应 用 如 表 7. 2 
所 示 。 


表 7.2 免疫 算法 在 识别 和 分 类 中 的 应 用 


计算 机 安全 Computer Security [1][12][21]~[27] 
模式 识别 Pattern Recognition C7]L13]L28]~[L31] 
分 类 Classification [31][32]~[35] 

聚 类 Cluster [36jL37] 

车 辆 图 Vehicle Image [38 ] 

卫星 图 Satellite Image [39 ] 

指纹 图 Fingerprint Image [40 | 

导航 Robot Navigation [41] 

音频 Sound [42] 

医学 Medical [43 ]}~[46] 


其 他 Others ps 


74.2 优化 应 用 


许多 实际 的 工程 与 实践 问题 本 质 上 是 函数 优化 问题 ,或 者 这 些 问题 本 号 就 是 要 求 进 
行 参数 的 设计 与 优化 ,因此 都 可 以 转换 为 函数 优化 问题 进行 求解 。 由 于 淋巴 细胞 具有 很 
强 的 学 习 和 记忆 功能 ,免疫 算法 应 用 于 优化 和 设计 上 的 也 不 少 。 调 度 (Scheduling) 和 规 
划 (Planning) 是 一 类 密切 影响 着 我 们 日 常生 活 的 优化 问题 ,例如 会 议 安 排 , 公 车 路 线 规 
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划 、 飞 机 调度 等 。CSA JIGA 等 免疫 算法 已 经 在 众多 的 调度 与 规划 问题 上 取得 了 非常 成 
功 的 应 用 。 从 数学 的 角度 讲 , 这 些 调 度 .规划 问题 属于 组 合 优化 问题 的 范畴 ,都 是 优化 问 
题 。 免 疫 算 法 在 优化 问题 中 的 应 用 如 表 7. 3 所 示 。 


表 7.3 免疫 算法 在 优化 问题 中 的 应 用 


旅行 商 问题 Traveling Salesman Problem [7]jL13j[L18j 

调度 问题 Scheduling [20][47][48][49】] 
HIV 治疗 HIV Therapy [50] 

信和 号 处 理 Signal Process [51] 

电磁 学 Electromagnetic [52] 

同步 发 动机 Synchronous Motor [53] 

健壮 性 设计 Robust Design [54] 

随机 优化 Stochastic Optimization [55] 

多 目标 优化 Multiobjective Optimization [56 ] 
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743 其 他 方面 的 应 用 
免疫 算法 的 应 用 领域 非常 广泛 ,如 表 7.4 所 示 , 免 疫 算法 已 经 在 机 天 学 习 与 训练 、 数 
据 挖掘 与 分 类 等 各 个 方面 都 取得 了 成 功 的 应 用 。 随 独 人 钱 究 者 对 算法 本 身 不 断 地 改进 和 有 完 
善 以 及 对 算法 应 用 领域 的 不 断 探索 ,人 免疫 算法 将 会 在 更 多 的 实践 领域 中 发 挥 其 重要 的 
EH. 
表 7.4 免疫 算法 在 其 他 方面 的 应 用 


机 器 人 学 习 和 控制 Robot Learning and Control [13 ][57][58] [59] 
数据 挖掘 Data Mining [33jL60j[L61 | 
75 ASDA 


1. 请 指出 免疫 算法 的 基本 思想 来 源 。 
2. 请 指出 免疫 算法 执行 过 程 的 基本 步骤 。 
3. 编写 程序 实现 基本 免疫 算法 ,求解 如 下 男 数 优化 问题 : 
min f(x) = Dz, x; E [— 10,10], i= 1,*…,30 


4， 理 解 负 选择 算法 的 原理 并 了 解 遗传 免疫 算法 的 过 程 。 
5. 通过 查阅 相关 参考 文献 ,实现 克隆 选择 算法 求解 TSP 问题 ,例如 berlin52 问题 。 
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分 布 估计 算法 


遗传 算法 在 求解 如 果 从 整体 上 把 握 种 群 的 分 

某 些 高 维 复杂 的 问题 布 规律 ， 就 可 以 获得 更 可 靠 的 信 
时 性 能 不 太 好 ， 有 什 g 恩 来 引导 算法 未 来 的 搜索 。 基 于 
么 好 的 解决 办 法 呢 ? 这 个 假设 ， 我 们 上 站 先 构建 当前 种 
如 果 我 们 把 整个 种 群 群 中 较 优 种 群 的 分 布 模型 ， 然 后 
的 分 布 规律 分 析出 来 ， 根据 这 个 模型 可 以 产生 出 整体 质 
是 不 是 可 以 用 来 提高 量 更 高 的 新 种 群 。 如 此 反复 ,种 
算法 的 性 能 呢 ? 群 的 整体 质量 将 不 断 得 到 提高 ， 
从 而 逐步 搜索 出 全 局 最 优 解 。 分 

布 估计 算法 (Estimation of Distri- 

bution Algorithms ，EDA) 即 是 基 

于 这 种 思想 的 新 型 启发 式 算法 。 


分 布 估计 算法 (Estimation of Distribution Algorithms, EDA) ,又 称 为 基于 概率 模型 
的 遗传 算法 (Probabilistic Model Building Genetic Algorithms, PMBGA), # 20 世纪 
90 年 代 初 提出 的 一 种 新 型 的 局 发 式 算法 。 它 结合 了 统计 学 习 理 论 和 遗传 算法 的 原理 , 通 
过 构建 概率 模型 .采样 和 更 新 概率 模型 等 操作 实现 群体 的 进化 。 

分 布 估计 算法 的 思想 起 源 于 遗传 算法 (Genetic Algorithm, GA), 但 是 它 却 有 与 遗传 
算法 截然 不 同 的 进化 模式 。 从 一 定 意 义 上 说 ,遗传 算法 是 在 “微观 ”层面 上 对 生物 的 进化 
进行 模拟 ,而 分 布 估计 算法 则 是 在 “宏观 ”的 层面 上 来 控制 算法 搜索 。 这 种 全 新 的 进化 模 
式 赋予 了 分 布 估计 算法 独特 的 性 能 ,而 其 强大 的 全 局 搜索 能 力 和 解决 高 维 复杂 问题 的 能 
力 更 成 为 吸引 众多 研究 者 注意 的 亮点 。 经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 计 
算 智能 领域 前 沿 的 一 个 研究 热点 。 

本 革 将 介绍 分 布 估计 算法 的 基本 原理 发展 历史 、 最 新 的 研究 进展 及 其 应 用 领域 。 具 
体 包 括 如 下 的 内 容 : 

© 分 布 估 计算 法 简介; 

。 分 布 估 计算 法 的 基本 流程 ; 

。 分 布 估 计算 法 的 改进 及 其 理论 研究 ; 

。 分 布 估 计算 法 的 应 用 。 


8.1 分 布 估计 算法 简介 


8.1.1 分 布 估 计算 法 产生 的 背景 


分 布 估 计算 法 (Estimation of Distribution Algorithms, EDA) ,又 称 为 基于 概率 模型 
的 遗传 算法 (Probabilistic Model Building Genetic Algorithms，PMBGA) ,是 20 世纪 90 
年 代 初 提出 的 一 种 新 型 的 启发 式 算 法 5 。 分 布 估计 算法 的 思想 起 源 于 遗传 算法 
(Genetic Algorithm,GA)5 2 。 在 前 面 的 章节 中 ,我 们 已 经 学 习 了 遗传 算法 的 原理 和 发 
展 历史 。 那 么 ,分布 估 计算 法 的 思想 又 是 怎样 在 遗传 算法 的 发 展 过 程 中 产生 的 呢 ? 

20 世纪 80 年 代 末 ,遗传 算法 在 许多 领域 的 应 用 部 取得 了 空前 的 成 功 ,但 是 对 它 的 理 
论 人 研究 还 相对 注 弱 ,这 限制 了 遗传 算法 的 进一步 推广 。 为 了 从 理论 上 分 析 遗 传 算法 的 机 
理 和 收敛 性 ,学 者 们 提出 了 著名 的 模式 定理 和 “积木 块 假设 ”。 在 遗传 算法 一 草 中 ,我 们 已 
经 对 模式 定理 和 ”积木 块 假 设 2” 的 有 关 概 念 和 理论 进行 了 简要 的 描述 。 按 照 “ 积 木 块 假设 ” 
的 观点 ,遗传 算法 的 演化 过 程 是 对 种 群 染色 体 中 的 大 量 “ 积 木 块 ”进行 选择 和 重组 操作 , 通 
过 组 合 出 更 多 好 的 “积木 块 ? 来 逐步 搜索 出 全 局 最 优 解 的 过 程 。 实 践 证 明 ,遗传 算法 在 求 
解 “ 积 木 块 ”紧密 相连 的 问题 时 表现 出 了 很 好 的 性 能 ,但 是 在 求解 “积木 块 ” 松 散 分 布 的 问 
题 时 性 能 却 很 差 。 这 是 因为 算法 中 的 交叉 操作 经 第 会 破坏 “积木 块 ”, 从 而 导致 算法 趋 于 
局 部 收敛 或 者 早熟 "5 。 

为 了 解决 遗传 算法 中 “积木 块 ”被 破坏 的 问题 ,学 者 们 提出 了 许多 改进 方案 。 这 些 方 案 
可 以 分 为 两 大 类 别 : 一 类 是 通过 学 习 解 的 结构 ,发 现 “ 积 木 块 ?并 避免 “积木 块 ? 的 破坏 。 这 
类 改进 的 遗传 算法 称 为 连锁 学 习 遗 传 算 法 (Linkage Learning Genetic Algorithm)", 5 — 
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类 则 以 一 种 而 有 ”全 局 操控 ?性 的 操作 模式 蔡 换 掉 遗 传 算法 中 对 "积木 块 2 具 有 破坏 作用 的 
遗传 算 子 , 这 就 是 本 草 所 要 描述 的 分 布 估计 算法 。 和 遗传 算法 的 算法 结构 相 比 ,分 布 估计 
算法 没有 交 又 算 子 和 变异 算 子 ,取而代之 的 是 建立 概率 模型 和 采样 两 大 操作 。 遗 传 算 法 
与 分 布 估计 算法 的 流程 对 比如 图 8. 1 Pras 


EE 


达到 结束 
条 件 ? 


基本 站 传 算法 框 染 基本 分 布 估计 算法 框架 
图 8.1 遗传 算法 与 分 布 估计 算法 的 流程 对 比 


8.1.2 分 布 估计 算法 的 发 展 历 史 


分 布 估计 算法 的 概念 最 先 由 Miihlenbein 于 1996 年 提出 号 ,但 早 在 1994 年 , Baluja 
就 提出 了 最 原始 的 分 布 估计 算法 模型 , 即 PBIL(Population-Based Incremental Learning) 
算法 中。Baluja 在 1994 至 1995 年 间 相 继 发 表 了 三 篇 文章 ,系统 阐述 和 分 析 PBIL 算法 的 
原理 和 性 能 ,为 分 布 估计 算法 的 发 展 打 下 了 良好 的 基础 。 随 后 ,Miihlenbein 于 1996 年 
提出 另 一 种 经 典 的 分 布 估 计算 法 : UMDA (Univariate Marginal Distribution 
Algorithm), UMDA 与 PBIL 的 原理 非常 类 似 , 只 是 概率 模型 的 更 新 方法 有 所 不 同 。 

早期 对 分 布 估计 算法 的 人 研究 都 是 围绕 二 进 制 编码 展开 的 ,而 且 集 中 于 人 研究 问题 变量 无 
关 的 情形 。 这 类 简单 的 分 布 估计 算法 除了 PBIL 和 UMDA 之 外 ,还 有 Harik 于 1997 年 提出 
的 CGA(Compact Genetic Algorithm)" , 1997 至 2000 年 是 EDA 迅速 发 展 的 黄金 时 期 ,期 
间 出 现 了 多 种 经 典 的 研究 多 变量 相关 性 的 分 布 估计 算法 ,如 MIMIC Mutual Information 
Maximizing Input Clustering)“ , COMIT (Combining Optimizers with Mutual Information 
Trees )"J | FDA ( Factorized Distribution Algorithm)! 和 BOA ( Bayesian Optimization 
Algorithm) 等 。 其 中 ,MIMIC 由 De Bonet 于 1997 年 提出 , 它 采 用 了 一 种 链 式 关系 来 描述 


变量 之 间 的 关系 。 在 MIMIC 的 基础 上 ,Balwa 于 1997 年 提出 了 男 一 种 双 变 量 相 关 分 布 估 
计算 法 COMIT, 它 采用 树 状 结构 来 描述 变量 之 间 的 关系 。 由 于 MIMIC 和 COMIT 所 采用 
的 链 式 和 树 状 结构 依然 无 法 完美 地 表达 变量 之 间 的 关系 ,Miihlenbein 于 1998 年 提出 另 一 种 
经 典 的 分 布 估计 算法 FDA, 它 需要 预先 给 定 变量 之 间 的 依赖 关系 。BOA 则 由 Pelikan 于 
1999 年 提出 , 它 采 用 了 贝 叶 斯 网 络 来 描述 变量 之 间 的 关系 。 

上 述 的 几 种 分 布 估计 算法 都 是 以 二 进 制 编码 的 形式 来 描述 的 ,最 原始 的 实数 编码 分 
布 估计 法 是 Servet 等 " 引 于 1997 年 提出 的 一 种 基于 均匀 分 布 的 实数 编码 PBIL。 该 算法 
以 类 似 二 分 法 搜索 的 形式 通 近 最 优 解 ,实验 表明 该 算法 在 搜索 过 程 中 容易 丢失 全 局 最 优 
解 ,而 且 一 旦 丢失 就 再 也 无 法 找 回 。 随 后 ,Sebagb9 于 1998 年 提出 一 种 基于 高 斯 分 布 的 
实数 编码 PBIL ,解决 了 全 局 最 优 解 的 丢失 问题 ,因而 具有 较 好 的 性 能 (该 算法 被 简称 为 
PBILc)。 与 UMDA 对 应 , Larrañaga F 2000 年 提出 了 UMDAc6a7] 。 此 外 ,日 本 学 者 
Tsutsui 还 于 2001 年 提出 一 种 基于 直方 图 的 实数 编码 分 布 估计 算法 HEDA™*!, Ahn?” 
则 于 2004 年 将 BOA 拓展 到 实数 编码 。 可 见 , 实 数 编码 的 分 布 估计 算法 在 2000 年 前 后 迅 
速 发 展 ,而 高 斯 分 布 是 其 中 被 应 用 得 最 广泛 的 概率 模型 。 

随 着 实数 编码 EDA 和 多 变量 相关 EDA 的 迅速 发 展 ,结合 EDA 与 其 他 进化 算法 的 
混合 分 布 估计 算法 (Hybird EDA)、 自 适应 分 布 估计 算法 (Adaptive EDA) .并行 分 布 估计 
算法 (Parallel EDA) 以 及 关于 分 布 估计 算法 的 理论 研究 都 开始 踊 入 EDA 发 展 的 历史 舞 
台 ,成 为 了 当前 EDA 研究 的 热点 。 在 混合 EDA 77 iil. Pena?” 等 提出 了 结合 遗传 算法 与 
分 布 估 计算 法 的 GA-EDA ,Zhang 4°") 提出 了 结合 差分 算法 的 DE-EDA 以 及 结合 局 
部 搜索 算法 的 EDA/L,Iqbal2 Al Wang[55 分 别提 出 以 不 同形 式 结合 粒子 群 算法 的 PSO- 
EDA 等 。 在 自 适 应 分 布 估计 算法 方面 ,Lu 提出 基于 聚 类 分 析 的 自 适 应 EDA55 ,在 一 定 
程度 上 克服 了 单一 高 斯 分 布 的 EDA 难于 求解 多 峰 函 数 优化 问题 的 缺点 ;Santana'””| 则 提 
出 采用 多 种 概率 模型 产生 样本 的 方法 。 在 并 行 分 布 估计 算法 方面 ,近年 来 陆续 提出 一 些 
并 行 策略 ,主要 集中 于 概率 模型 学 习 的 并 行 化 |。 

随 着 对 分 布 估 计算 法 的 理论 研究 的 不 断 深入 ,许多 研究 者 开始 采用 分 布 估计 算法 解 
决 复杂 的 优化 问题 。 目 前 ,分 布 估计 算法 的 主要 应 用 领域 包括 孔 数 优化 331227 组 合 优 
AEE] 生物 信息 “4 、 多 目标 优化 5 和 机 器 学 习 [450 等。 可 以 预计 ,扩展 分 布 估 计 
算法 的 应 用 将 是 进化 计算 领域 的 又 一 个 研究 热点 。 

经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 成 为 当前 国际 学 术 界 的 一 个 热门 课题 。 其 中 , 权 
威 的 国际 期 刊 Evolutionary Computation F 2005 年 出 版 了 分 布 估 计算 法 的 专刊 ; ACM 
SIGEVO IEEE CEC 等 许多 权威 国际 学 术 会 议 也 都 设 有 分 布 估计 算法 的 专题 讨论 。 


8.2 ”分布 估计 算法 的 基本 流程 


8.2.1 基本 的 分 布 估计 算法 


分 布 估计 算法 是 一 种 基于 种 群 的 随机 优化 算法 , 它 首先 需要 生成 一 个 初始 种 群 ,然后 
通过 建立 概率 模型 和 采样 等 操作 使 种 群 得 到 不 断 的 进化 ,直到 达到 结束 条 件 。 其 中 ,建立 
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概率 模型 和 采样 是 分 布 估计 算法 的 核心 步骤 ,也 是 EDA 与 GA 的 最 大 不 同 之 处 。 由 于 分 布 
估计 算法 没有 “交叉 ”和 “变异 ”操作 ,因而 通常 不 用 基因 来 描述 个 体 所 包含 的 信息 ,取而代之 
的 是 变量 (Variables)。 分 布 估计 算法 通过 分 析 较 优 群 体 所 包含 的 变量 ,构建 符合 这 些 变量 
分 布 的 概率 模型 ,然后 基于 该 概率 模型 再 产生 新 的 种 群 。 因 为 概率 模型 是 由 种 群 中 优势 群 
体 建立 起 来 的 ,所 以 基于 该 模型 产生 的 新 种 群 在 整体 质量 上 将 优 于 原来 的 种 群 。 由 此 推断 ， 
种 群 的 整体 质量 经 过 多 次 迭代 后 将 不 断 得 到 提高 。 分 布 估计 算法 就 是 按照 这 种 形式 将 当前 
最 优 解 一 步 一 步 地 逼近 全 局 最 优 解 的 。 基 本 分 布 估计 算法 的 伪 代 码 如 图 8. 2 所 示 。 


// 功 能 : 基本 分 布 估计 算法 的 伪 代 码 
procedure EDA 
D4 Generate N individuals randomly 
1=1 
while not met stopping criterion do 
De 1*-Select Se<N individuals from D, 1 according to a selection method 


pı (x)=0 (x| Dı) Estimate the joint probability of selection individuals 


Di Sample N individuals from pı (x) 
J=1+1 
end while 
end procedure 


图 8.2 基本 分 布 估计 算法 的 伪 代 码 


以 UMDA 为 例 ,其 算法 执行 步骤 如 下 。 
第 一 步 : 随机 产生 NN 个 个 体 来 组 成 一 个 初始 种 群 ,并 评估 初始 种 群 中 所 有 个 体 的 适 
应 度 。 
第 二 步 : 按 适 应 度 从 高 到 低 的 顺序 对 种 群 进行 排序 ,并 从 中 选 出 最 优 的 Se 个 个 体 
(Se<N)., 
第 三 步 : 分 析 所 选 出 的 Se 个 个 体 所 包含 的 信息 ,估计 其 联合 概率 分 布 p(x)。 


p(x) = p(x | DS) = [| pan (8.1) 
i=] 


其 中 ,n 为 解 的 维 数 ,p(xi) 为 每 维 变 量 的 边缘 分 布 。 

第 四 步 : 从 构建 的 概率 模型 p(x) 中 采样 ,得 到 NN 个 新 样本 ,构成 新 种 群 。 此 时 , 知 达 
到 算法 终止 条 件 则 结束 ,否则 执行 第 二 步 。 
从 式 (8. 1) 可 以 看 出 ,UMDA 在 估计 概率 模型 
C) © 时 ,认为 变量 之 间 是 独立 不 相关 的 。 我 们 可 以 用 
图 8. 3 来 形象 描述 UMDA 所 构建 的 概率 模型 中 , 变 
C) () 。 量 之 间 的 逻辑 依赖 关系 。 其 实 ,早期 所 提出 的 分 布 
估计 算法 如 PBIL 和 CGA 等 都 采用 变量 无 关 的 概率 
Q ER, TEJA H DE E RITH I A HE — 2 op A 
图 8.3 变量 相互 无 关 的 概率 图 模型 ”一 些 采 用 复杂 概率 模型 的 分 布 估计 算法 。 
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8.2.2 一 个 简单 分 布 估计 算法 的 例子 


为 了 更 好 地 理解 分 布 估计 算法 的 执行 流程 ,本 小 节 将 以 上 一 小 节 介 绍 的 UMDA 为 
例 ,详细 描述 该 算法 优化 OneMax 问题 的 演算 过 程 。 

定义 8.1 OneMax 问题 : 对 于 固定 长 度 为 N 的 二 进 制 串 ,OneMax 问题 要 求 找到 一 
个 包含 1 的 个 数 最 大 的 二 进 制 串 , 即 找到 x = Cr ore tt san) a, E {0.1}. EE F(x) = 


2 ti 最 大 化 。 


现在 ,我 们 采用 UMDA 来 求解 一 个 四 维 的 OneMax 问题 。 在 这 个 例子 中 ,我 们 用 一 
个 简单 的 概率 向 量 p= Cpi + Po > Ps ,ps) 来 表示 描述 种 群 分 布 的 概率 模型 ,其 中 p; 表示 
x, 取 1 的 概率 ,(1 一 p;) 则 为 x; 取 0 的 概率 。 

第 一 步 : 产生 初始 种 群 。 为 了 使 初始 种 群 在 定义 域内 符合 均匀 分 布 ,我 们 定义 初始 
化 概率 癌 量 模型 p= 二 (0. 5,0.5,0.5,0.5), 然 后 根据 p 产生 规模 为 10 的 初始 种 群 ,最 后 根 
据 F(x) =a Har: tag tay 计算 出 初始 种 群 的 适应 度 ,最 终 的 结果 如 表 8. 1 TAN 


表 8.1 从 解 空间 中 按 均匀 分 布 产 生 10 个 个 体 


as | a | a | a | a | 7 
1 l l 0 l 3 
2 1 0 0 0 l 
3 0 1 0 0 l 
4 0 l l l 3 
5 l l 0 1 3 
6 0 l 1 0 2 
7 l 0 l 0 2 
8 0 0 l 1 2 
9 l 0 0 0 l 
10 l 0 0 l 2 


第 二 步 : 按照 种 群 的 适应 度 从 高 到 低 进行 排序 。 假 设 Se 一 5, 则 从 种 群 中 选 出 适应 度 
较 高 的 5 个 个 体 用 来 更 新 概率 向 量 模型 p。 更 新 概率 模型 时 令 p, = n 为 在 选 出 
的 较 优 个 体 中 ae, = 1 的 个 体 数 。 最 终 选 出 的 个 体 如 表 8. 2 所 示 , 从 而 得 到 新 的 概率 模型 


| 二 
为 p= (3 es ”5 ' | OO 


表 8.2 选择 操作 后 的 优势 群体 


2 w% Ne 
mm w wo wl] & 
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第 三 步 : 根据 更 新 后 的 概率 模型 p 产生 新 的 样本 ,并 计算 这 些 新 样本 的 适应 度 。 最 
终 得 到 新 一 代 的 种 群 如 表 8. 3 所 示 。 
表 8.3 更 新 概率 向 量 后 产生 的 新 群体 


ae El 
1 l 0 0 2 
2 0 0 
3 l l l 3 
4 l l l 4 
5 l 1 l 3 
6 0 l 0 l 
f 1 l 0 3 
8 l l l 4 
9 l 0 1 3 
10 l 0 0 2 


WW ES RAN S IE CE. KAERA AMR = 
完成 下 一 代 的 进化 ,最 终 得 到 的 种 群 平 均 适 应 度 和 概率 模型 如 表 8.4 所 示 。 我 们 可 以 看 
出 , 随 着 演化 的 进行 ,种群 的 整体 质量 不 断 提高 ,概率 向 量 逐 渐 明 近 全 局 最 优 解 。 


表 8.4 概率 向 量 和 种 群 平均 适应 度 的 进化 情况 


进化 代数 概率 向 量 种 群 平均 适应 度 


(0.5,0.5,0.5,0.5) 2.2 
(0.6,0.8,0.6,0.6) 2.6 
(0.8,1.0,0.6,0.8) 2.9 
(1.0,1.0,1.0,0.8) 3.8 
(1.0,1.0,1.0,1.0) 4.0 


on e WwW N =e 


8.3 分布 估 计算 法 的 改进 及 理论 研究 


经 过 十 多 年 的 发 展 , 分 布 估计 算法 已 经 有 了 许多 形式 的 改进 : 从 求解 离散 问题 的 分 
布 估计 算法 扩展 到 求解 连续 问题 的 分 布 估计 算法 ;从 变量 无 关 的 分 布 估计 算法 扩展 到 多 
变量 相关 的 分 布 估计 算法 ;从 单一 的 分 布 估计 算法 扩展 到 混合 其 他 算法 ,甚至 具有 自 适应 
功能 的 分 布 估计 算法 。 与 此 同时 ,对 分 布 估计 算法 的 机 理 及 其 收敛 性 的 研究 也 逐渐 开展 
了 起 来 。 
8.3.1 概率 模型 的 改进 

在 8.2. 1 小 节 中 ,我 们 已 经 癌 读者 介绍 了 最 简单 的 一 类 分 布 估计 算法 , 即 变量 无 关 分 
布 估计 算法 。 早 期 所 提出 的 分 布 估计 算法 都 属于 这 一 类 ,如 PBIL、UMDA 和 CGA 等 。 
由 于 在 实际 应 用 中 ,问题 所 包含 的 变量 之 间 常 常 具 有 关联 关系 ,采用 变量 无 关 的 分 布 估计 
算法 求解 这 类 问题 无 法 得 到 令 人 满意 的 效果 。 针 对 这 个 问题 ,学 者 们 展开 了 深入 的 研究 ， 
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并 相继 提出 了 一 系列 用 于 求解 具有 变量 相关 性 的 问题 的 分 布 估计 算法 。 根 据 这 些 改进 的 
分 布 佑 计算 法 对 变量 关联 性 捕捉 能 力 的 差异 ,可 以 将 它们 分 为 三 大 类 ,如 图 8.4 所 示 。 下 
面 简要 介绍 其 中 几 个 比较 经 典 的 概率 模型 。 


分 布 估计 算法 概率 模型 改进 版 本 一 览 图 
变量 无 关 模型 双 变量 相关 模型 多 变量 相关 模型 


PBIL:Baluja 1994 MIMIC:Bonet 1997 FDA:Mihlenbein 1999 
UMDA:Miihlenbein 1996 COMIT:Baluja 1997 BOA:Pelikan 1999 


CGA:Harik 1997 BMDA:Pelikan 199915% ECGA:Harik 199913! 


图 8.4 分 布 估 计算 法 概率 模型 改进 版 本 一 览 图 


1. 链 式 概率 模型 
最 早 的 变量 相关 分 布 估计 算法 是 Bonet 于 1997 年 提出 的 基于 最 大 互信 息 的 分 布 估 
计算 法 (Mutual Information Maximization for Input 
Clustering, MIMIC)", 在 MIMIC 中 ,变量 之 间 的 关系 OC} ) 
是 一 种 链 式 的 关系 , 即 在 n 维 随 机 变量 组 成 的 链 中 ,只 有 ”图 8.5 变量 之 间 链 式 依赖 
相 邻 的 变量 之 间 才 有 关系 ,其 概率 结构 如 图 8. 5 所 示 。 关系 的 概率 图 模型 
为 了 求 出 分 布 估计 算法 的 概率 模型 ,我们 通 篆 先 研 
究 个 体 中 变量 集合 的 联合 分 布 。 给 定 一 个 变量 集合 XS (zi ,zs，… ,Xx,), 它 的 联合 分 布 概 
率 密度 晴 数 可 由 公式 (8.2) 表 示 : 
p(X) = p(X; | X20 XD P(X: | Xz X, p(Xna | Xn) pCX,) (8. 2) 
由 于 存在 链 式 关系 ,两 个 变量 之 间 的 条 件 概率 p(X;|X;) 可 以 根据 样本 信息 求 得 。 
MIMIC 的 目标 即 是 找到 X 的 一 种 最 优 排序 xz 二 {x; ,ze ， ,Xx; } ,使 得 根据 这 种 排序 所 
求 得 的 p(X) 与 P(X) 尽 可 能 一 致 ,其 中 名 (CX) 为 : 
pe(X) = p(X, | Ki pK | Xi) p(X, | Xi) p(X) (8. 3) 
文献 [11 1 引入 Kullback-Liebler divergence 的 概念 来 衡量 两 个 分 布 之 间 的 距离 ,其 定义 
如 下 : 
D(p | px) =— h) HAX: | Xi.) +e HAX a | Xi HAX) BA 
其 中 ,h(X) = 一 >) p(X = x)logp(X = x) A(X | Y) =— Xh (X | Y= y)p(Y=y), 


h(X | Y = y) =— p(X = 2 | Y = y)logp (X = < | Y = y). 简单 地 说 ,D(p | pW 
值 只 有 在 两 个 分 布 相等 的 情况 下 才 为 0。 但 是 ,如 果 通 过 枚 举 的 方法 搜索 一 种 最 优 的 排列 


EDO || za。.) 的 值 最 小 ,需要 O(N1) 的 计算 量 。 为 了 减少 计算 量 , MIMIC 引入 了 一 种 
贪心 算法 来 求 最 优 排 列 , 其 流程 如 下 。 


第 一 步 : 计算 所 有 h(X;), 将 值 最 小 的 变量 标号 为 i,» Bl i, = arg minjh (X;);4 
k=n—1,. 
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第 二 步 s 对 所 有 JSF iggy eei ) 计 算 A(X, [Xi ) 并 将 值 最 小 的 变量 标号 为 ips BJ 
i, = arg min; (X; | Xy )> fj Aiming 令 有 一 人 一 1 

第 三 步 : Ak 二 0 则 结束 ,否则 执行 第 二 步 。 

当 概 率 分 布 被 确定 好 后 , MIMIC 按 如 下 流程 从 链 尾 到 链 首 依次 产生 一 个 新 样本 。 

第 一 步 : 根据 概率 密度 函数 p(X; ) ,产生 X; 。 

第 二 步 : 对 所 有 的 & 二 nn 一 1,n 一 2,…,2,1, 根 据 p(X; | Xi 

2. 树 状 概率 模型 

COMIT(Combining Optimizers with Mutual Information Trees) 是 Balujat24 于 1997 


) 产 生 X; 。 


年 提出 的 另 一 种 变量 相关 分 布 估计 算法 。COMIT 与 MIMIC 都 是 解决 双 变 量 相关 的 分 
布 估计 算法 ,但 与 MIMIC 不 同 的 是 ,COMIT 采用 一 种 树 状 
结构 来 描述 变量 之 间 的 关系 ,如 图 8.6 所 示 。 


COMIT 采用 机 器 学 习 领 域 中 Chou 和 Liu! 提出 的 方 


法 构造 概率 模型 ,并 根据 MIMIC 的 取样 方式 从 概率 模型 中 
产生 新 样本 。COMIT 构建 概率 模型 和 采样 的 流程 由 以 下 四 
步 组 成 : 


第 一 步 : 定义 数组 A,ALX; 二 a,X; 二 bj 记录 所 有 变量 对 


X: AX;,X;=a Al X; =b 出 现 的 次 数 。 首先 将 AL X: =a, 图 8.6 变量 之 间 树 状 依赖 
Xi 一 0 初始 化 为 一 个 小 稍 量 ,然后 采用 增 量 学 习 手 法 不 断 更 关系 的 概率 图 模型 


新 ,使 得 最 新 出 现 的 权重 越 大 , 即 更 新 数组 A 时 ,首先 所 有 值 


乘 一 个 挥发 因子 a, 然 后 每 出 现 一 个 XX, 二 a,X;= 二 5, 则 ALX; =a. X; =b] 1. 0。 
第 二 步 : RHE ALX: =a, X =b] HAEE X MX, 之 间 的 关联 性 。 关 联系 数 定 


义 为 : 


Xx» 


图 


P(X; =a,X; =b) 
TCX; X;) = DPX, =a,X; = blog BOY = DPX = BD (8.5) 


第 三 步 : 根据 关联 系数 信息 息 , 构 建 关联 树 。 其 构建 过 程 如 下 。 
Step]: 随机 选择 一 个 节点 w 作为 根 , 令 S 为 已 处 理 节点 集合 , 则 有 S= {vo}。 
td eg 

Step3: 4 SA¢ 转 Step2, 否 则 结束 。 

第 四 步 : 深度 优先 遍历 关联 树 ,产生 新 样本 。 

3. 贝 叶 斯 网 络 概率 模型 

贝 叶 斯 网 络 是 描述 变量 之 间 概 率 依赖 关系 的 数学 模 
型 ,其 拓扑 结构 是 一 个 有 向 无 环 图 CDAG) ,如 图 8.7 所 
xs 示 , 其 中 每 个 节点 代表 一 个 变量 ,而 每 条 边 则 表示 变量 之 
间 的 概率 依赖 关系 。 

贝 叶 斯 网 络 提供 了 一 种 把 联合 概率 分 布 分 解 为 局 部 
概率 分 布 的 方法 。 假 设 X= {X, ,X。 ,…,X, ) 为 随机 变量 
8.7 贝 叶 斯 网 络 拓扑 结构 图 ge fs ,x,,…,z,} 表 示 变 量 的 集合 , 则 基于 贝 叶 斯 网 


XI 


163 


164 


计算 智能 
络 的 联合 概率 为 : 

P(x) = P(x, | 站 om)。P(z | Dee 9%) $ 2° © Pla, | zi) $ P(x) (8.6) 
因此 根据 图 8.7 所 示 的 贝 叶 斯 网 络 ,可 求 得 PCz) 为 : 

ed ee ee 5X5 5 Te) 

= P(x; | x4) © P(x, | x2523) © PCars | x1523) © PCxe | xı) »* Plxs | xı) $ PCa) 

由 于 贝 叶 斯 网 络 可 以 很 好 地 描述 变量 之 间 的 复杂 依赖 关系 ,Pelikan 等 人 于 1999 年 
提出 基于 贝 叶 斯 网 络 模 型 的 分 布 估计 算法 (The Bayesian Optimization Algorithm. 
BOA)“, BOA 采用 贝 叶 斯 网 络 概 率 模型 ,采样 时 根据 贝 叶 斯 网 络 拓 ; 扑 结 构图 从 父 节 点 
到 子 节 点 依次 采样 生成 样本 。 其 中 ,构建 贝 叶 斯 网 络 模 型 的 过 程 包括 网 络 结构 的 学 习 和 
参数 的 学 习 两 个 过 程 。Pelikan 等 人 的 研究 表明 ,BOA 在 求解 复杂 优化 问题 时 取得 了 很 
好 的 效果 ,其 算法 流程 伪 代 码 如 图 8. 8 所 示 。 


// 功 能 : BOA 伪 代码 

procedure BOA 
DGenerate N individuals randomly 
J=1 
while not met stopping criterion do 


Se(1)#-select Se<N individuals from D,, according to a selection method 


Construct the network B using a chosen metric and constraints 
Generate a set of new individual T(1) according to the joint distribution 
encoded by B 
Create a new population D: by replacing some individuals from D-ı with O(1) 
J=1+1 
end while 
end procedure 


图 8.8 BOA 算法 流程 伪 代 码 


4. 高 斯 概率 模型 

高 斯 分 布 又 称 为 正 态 分 布 ,通常 记 为 N(y,o?), 其 中 为 分 布 的 均值 ,o 为 分 布 的 方 
差 , 其 函数 图 像 如 图 8.9 所 示 。 高 斯 概率 模型 是 实数 编码 分 布 估计 算法 的 经 典 概率 模型 。 
PBIL 和 UMDA 对 应 的 实数 编码 分 布 估计 算法 PBILc 和 UMDAc 所 采用 的 概率 模型 都 
是 高 斯 概率 模型 507] 。 此 外 ,多 元 高 斯 模型 也 是 解决 多 变量 相关 的 实数 编码 分 布 估计 算 
法 常 采用 的 概率 模型 。 本 小 节 将 以 PBILc 为 例 介 绍 高 斯 概率 模型 解决 连续 空间 的 优化 
问题 的 流程 。 

PBILc 对 每 个 变量 x; 定义 一 个 一 元 高 斯 分 布 N (jy ,0 ), 然 后 根据 每 个 N(y; «07 ) TE 
整个 定义 域 空间 产生 一 个 样本 。 构 建 概率 模型 的 过 程 主 要 包括 yw; 和 oj; 的 确立 ,mi AR 
了 样本 的 中 心 ,而 o 则 控制 着 样本 的 多 样 性 。 随 着 种 群 的 进化 ,w 将 逐渐 通 近 全 局 的 最 
优 解 所 在 的 位 置 ,而 o 将 越 来 越 小 ,从 而 使 种 群 聚 扰 到 全 局 最 优 解 附近 。 具 体 地 说 ， 
PBILc 的 求解 过 程 由 如 下 四 步 组 成 。 
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. e 20? (o>0) 


] 
P(x)= Jro 


图 8.9 高 斯 分 布 示意 图 


第 一 步 : 随机 产生 初始 种 群 并 计算 种 群 中 所 有 个 体 的 适应 度 ,同时 根据 公式 (8.7) 初 


S VEJL] 
m = D 


[Sv -py 
a=] — N 


其 中 V[ijLi] 为 种 群 中 个 体 i 的 变量 xz; 的 值 ,N 为 种 群 的 规模 。 

第 二 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 均值 。 设 在 第 1 代 时 ,zx; 对 应 的 高 斯 分 
布 的 均值 为 WA : 

pp = (l—a@) epg tae (ap rr — zy™) (8. 8) 

其 中 a 为 学 习 因 子 ,x™” ae? BL ae PO 分 别 表示 种 群 中 最 优 个 体 、 次 优 个 体 和 最 差 个 体 
所 对 应 的 2, 值 。 

第 三 步 : 采用 线性 学 习 方 式 更 新 高 斯 分 布 的 方差 。 设 在 第 1 代 时 ,zx; 对 应 的 高 斯 分 
布 的 方差 为 o;, 则 有 : 


(8.7) 


K—1 
g = (1—a) -o ta. |(2 (ts —2))/K (8.9) 
k=0 


其 中 zi 为 种 群 按 适 应 度 从 大 到 小 排名 第 (k 一 1) 的 个 体 的 x; 值 ,z 为 选 出 的 天 个 较 优 种 
群 的 zx 的 均值 , 即 : 


z= (> za)/K (8. 10) 
第 四 步 : 根据 更 新 的 高 斯 分 布 产 生 样 本 。 
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8.3.2 混合 分 布 估 计算 法 


在 智能 算法 的 大 家 庭 中 ,除了 分 布 估计 算法 和 遗传 算法 外 ,还 有 蚁 群 优化 算法 
(ACO) ,粒子 群 优化 算法 (PSO) 和 差分 进化 算法 (Differential Evolution,DE) 等 。 这 些 智 
能 算法 各 有 目 己 的 特征 ,有 的 适合 解决 连续 性 问题 ,有 的 适合 解决 离散 性 问题 ,而 有 的 具 
有 较 强 的 局 部 搜索 能 力 等 。 因 而 ,结合 多 种 智能 算法 取长补短 ,形成 功能 更 加 强大 的 混合 
算法 是 当前 智能 计算 人 研究 领域 的 一 个 热点 。 本 小 节 将 介绍 两 种 简单 的 混合 分 布 估计 算法 
的 原理 ,使 读者 有 一 个 初步 的 认识 。 

1. 分 布 估计 算法 与 遗传 算法 结合 

分 布 估计 算法 与 遗传 算法 都 是 基于 种 群 的 进化 算法 ,它们 的 不 同 之 处 在 于 生成 种 群 
的 机 制 不 同 。 为 了 验证 哪 一 种 算法 的 性 能 更 优 ,Larraiaga 和 Lozano’) 等 学 者 曾 设计 了 
多 种 问题 来 进行 测试 。 最 终 的 测试 结果 表明 没有 一 个 算法 对 解决 所 有 问题 都 是 最 优 的 。 
基于 这 个 研究 结论 ,Penat" 于 2004 年 提出 一 种 简单 有 效 的 混合 分 布 估计 算法 GA-EDA。 
在 GA-EDA 中 ,新 的 种 群 由 GA M EDA 共同 生成 。 具 体 地 说 ,GA 和 EDA 是 在 同一 个 
种 群 的 基础 上 按照 各 目的 机 制 分 别 产 生 两 个 子 种 群 ,然后 再 将 这 两 个 子 种 群 组 合成 新 的 
种 群 , 如 此 完成 一 代 的 进化 过 程 ( 如 图 8. 10 所 示 )。 仿真 的 结果 显示 这 种 简单 的 混合 机 制 
亦 能 取得 展 好 的 效果 。 


| ”采用 遗传 算法 从 | | 采用 分 布 估计 算法 从 ] 
种 群 中 产生 新 种 群 


图 8. 10 遗传 算法 与 分 布 估计 算法 混合 机 制 示意 图 


2. 分 布 估计 算法 与 差分 进化 算法 结合 

差分 进化 算法 (CDifferential Evolution, DE) 也 是 一 种 基于 种 群 的 随机 搜索 算 
法 '55159], 它 利用 当前 种 群 之 间 的 差异 信息 来 引导 搜索 。 随 着 进化 代数 的 增加 ,个 体 
之 间 的 差异 性 将 越 来 越 小 ,而 简单 的 差分 进化 算法 缺乏 有 效 的 机 制 利 用 和 产生 搜索 
空间 中 的 全 局 的 信息 ,因而 常常 会 收 人 钱 于 局 部 最 优 解 。 男 一 方面 ,分 布 估 计算 法 利 
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用 种 群 的 全 局 信息 建立 概率 模型 ,从 “宏观 ”上 控制 算法 搜索 。 因 而 结合 差分 进化 算 
法 和 分 布 估 计算 法 可 以 有 效 地 利用 局 部 信息 和 全 局 信息 ,形成 功能 更 加 强大 的 混合 
算法 。 在 文献 [21j 中 ,Sun 等 人 提出 了 一 种 结合 了 差分 进化 算法 的 混合 分 布 估计 算 
法 DE-EDA。 

DE-EDA 中 的 新 种 群 以 DE 或 EDA 方式 生成 。 记 第 k 代 种 群 的 第 j 个 个 体 为 wi, 则 
第 上 十 1 代 的 种 群 的 产生 过 程 如 下 。 

第 一 步 : 从 当前 种 群 中 选 出 M 个 较 优 的 个 体 ,并 如 下 建立 概率 模型 。 


p(x) = || Nass te) (8.11) 
i=] 


第 二 步 : 产生 一 个 0 一 1 之 间 的 随机 值 v A Va. WU TAFE DE 的 机 制 产 生 ,和 否 
则 按照 EDA 的 方式 从 概率 模型 p; (xz) 中 取样 。 其 中 a 为 控制 参数 ,最 终 产 生 的 新 个 体 
X us 

第 三 步 : Au 的 适应 度 大 于 zx 的 适应 度 , 则 u Su, A u ui. 

第 四 步 : 大 产生 了 足够 数量 的 新 种 群 则 终止 ,否则 执行 第 一 步 。 

除了 结合 遗传 算法 和 差分 进化 算法 的 混合 分 布 估计 算法 外 ,还 有 结合 粒子 群 算法 、 局 
部 搜索 算法 和 独立 主 成 分 分 析 技 术 等 混合 分 布 估计 算法 ,这 里 不 再 一 一 介绍 。 相 关 的 算 
法 特点 和 参考 文献 如 表 8. 5 所 示 。 


表 8.5 混合 分 布 估计 算法 研究 一 览 表 


研 究 者 说 B 
Topon Kumar Paul(2003)°”! EDA 55% 16°4 4 (Reinforcement Learning RABE 
M. D. Platel(2003)%* EDA 与 量子 技术 结合 
J. M。Pena(2004)520] EDA 与 GA 结合 
S.J. Yong(2004)?"! EDA 与 DE 结合 
Q. F. Zhang(2004)522] EDA 与 局 部 搜索 结合 
Alden Wright(2004)559] EDA 5SRKMBCABA 
Q. Lu(2005)525] EDA 与 聚 类 技术 结合 
Iqbal(2006)"*) 、Wang(2007)029 EDA 与 PSO 结合 
W. S. Dong(2008)5"] EDA 与 小 生境 技术 结合 


83.3 并行 分 布 估计 算法 


基于 种 群 的 进化 算法 需要 评 佑 种群 中 每 个 个 体 的 适应 度 , 而 且 需 要 多 次 的 迭代 计算 
过 程 ,这 限制 了 进化 算法 在 一 些 复杂 的 领域 以 及 对 实时 性 要 求 较 高 的 领域 的 应 用 。 为 了 
加 快 进化 算法 的 搜索 速度 ,学 者 们 提出 了 许多 结合 并 行 计算 技术 的 方法 。 不 同 的 进化 算 
法 在 算法 结构 上 的 差异 ,导致 它们 结合 并 行 计 算 的 方法 和 原理 也 有 所 不 同 。 本 小 节 回 谈 
者 介绍 并 行 分 布 估计 算法 的 基本 原理 及 其 研究 现状 。 

1. 种 群 级 别 并 行 化 

种 群 级 别 的 并 行 分 布 估计 算法 是 最 直观 、 最 易于 在 实际 中 应 用 的 并 行 分 布 估计 算法 
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之 一 。 人 简单 地 说 ,该 类 算法 通常 将 种 群 分 成 多 
个 子 种 群 ,每 个 子 种 群 在 不 同 的 机 天 上 运行 ， 
然后 各 个 子 种 群 通 过 迁移 等 机 制 进行 通信 , 达 

到 综合 信息 的 目的 。 
如 文献 L30] 提 出 了 一 种 基于 岛屿 模型 的 
并 行 分 布 估计 算法 dEDA ,该 算法 首先 将 种 群 
分 散 于 多 个 岛屿 中 ,然后 采用 不 同 概率 模型 的 
ee E E E EDA 对 不 同 岛屿 上 的 子 种群 进 行进 化 ,每 个 
不 同 的 EDA 示意 图 岛屿 上 的 子 种 群 进化 到 一 定 代 数 后 即 通过 同 
步 和 迁移 机 制 与 相 邻 的 孤岛 屿 上 的 种 群 进行 

相互 通信 ,如 图 8. 11 Pras. A 8. 12 是 该 算法 流程 的 伪 代 码 。 


// 功 能 : deDaA 伪 代码 
procedure dEDA 
D 4+ Generate N individuals randomly 
1=1 
while not met stopping criterion do 
Se(1) select Se <N individuals from Di according to a selection method 


Estimation the distribution p’ (x,1)of the selected set Se (JI) 
Generate N new individuals according to the distribution p° (x, 1) 
Send and receive individuals asynchronously, according to the migr. parameters 
J=1+1 
end while 
end of procedure 


图 8.12 dEDA 算法 流程 的 伪 代 码 
2. 适应 度 评估 并 行 化 
适应 度 评 佑 通常 是 算法 中 最 耗 时 的 部 分 ,而 采用 多 台 机 费 并 行 计 算 种 群 中 的 适应 度 
是 提高 进化 算法 搜索 速度 最 直接 有 效 的 方法 之 一 。 该 类 算法 通常 采用 主 从 模式 ,如 


图 8. 13 所 示 。 主 机 回 从 机 分 配 评 佑 适应 度 的 任 pe 
务 ,并 最 终 综合 各 从 机 反馈 回来 的 结果 ,继续 执 fo Mee 


行 EDA 算法 进行 其 他 模块 的 计算 。 而 分 机 则 


专门 负责 完成 主机 分 发 过 来 的 评估 任务 。 ZA UA 
3. 概率 模型 构建 并 行 化 Slaves J E NN 
在 采用 EDA 解决 多 变量 相关 的 复杂 问题 > > 

时 ,常常 需要 设计 复杂 的 概率 模型 (如 贝 叶 斯 模 RL i 

型 ) 。 这 类 概率 模型 的 构建 过 程 通常 需要 较 大 

的 计算 量 , 因 而 概率 模型 构建 的 并 行 化 也 是 提 

高 分 布 估计 算法 搜索 速度 的 有 效 方法 。 如 文献 L28]L61j] 中 Ocenasek Al Schwarz 提出 了 
并 行 计算 贝 叶 斯 网 络 的 新 方法 ,同时 也 将 该 技术 应 用 于 BOA ,提出 一 种 新 的 并 行 分 布 估 


图 8.13 主 从 模式 并 行 EDA 示意 图 
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计算 法 PBOA。 

4. 其 他 并 行 机 制 

由 于 产生 新 个 体 仅 依赖 于 当前 构建 的 概率 模型 ,个 体 与 个 体 之 间 并 无 关联 关系 ,因而 
可 以 对 采样 的 操作 进行 并 行 化 处 理 。 如 文献 L30] 对 EDA 的 采样 并 行 化 处 理 有 相关 的 站 
述 ,不 过 这 方面 的 研究 相对 较 少 。 此 外 ,也 有 学 者 提出 混合 以 上 多 种 并 行 技术 的 并 行 分 布 
估计 算法 中 。 


8.3.4 分 布 估计 算法 的 理论 研究 


随 着 分 布 估计 算法 的 兴起 ,对 其 进化 机 理 的 研究 也 逐步 展开 。 目 前 在 这 方面 的 研究 
主要 集中 在 算法 的 收敛 性 分 析 和 时 空 复杂 性 研究 两 个 方向 。 在 收敛 性 分 析 方 面 ,已 有 学 
者 对 PBIL、FDA 以 及 BOA 等 主要 的 分 布 估 计算 法 的 收敛 性 进行 了 人 研究 ,得 出 一 些 有 用 
的 结论 。 不 过 这 方面 的 研究 通常 针对 特定 的 问题 如 OneMax 问题 ,对 分 布 估计 算法 解决 
一 般 性 问题 的 收敛 性 研究 的 文献 还 比较 少 。 在 时 空 复杂 性 分 析 方 面 也 取得 了 一 些 进展 ， 
但 是 分 析 的 模型 还 比较 简单 ,通常 需要 比较 理想 的 前 提 条 件 , 如 种 群 规 模 无 穷 大 等 。 可 以 
说 ,当前 对 分 布 估计 算法 的 理论 研究 还 处 于 起 步 阶 段 ,有 待 进 一 步 深 入 。 表 8.6 是 分 布 估 
计算 法 理论 研究 的 现状 。 

表 8.6 分 布 估计 算法 理论 研究 现状 


研 究 者 说 明 


证 明 PBIL 在 解决 线性 的 二 进 制 优 化 问题 时 ,可 以 收敛 到 全 局 最 优 
解 , 解 非 线 性 问题 可 能 会 陷入 局 部 最 优 


H. Miihlenbein(1998)"**! 对 UMDA 的 收敛 性 进行 分 析 , 假 设 种 群 无 穷 大 
H. Miihlenbein(1999)"**! 对 FDA 的 收敛 性 进行 分 析 
M. Pelikan( 2001) **! 对 BOA 解决 OneMax 问题 的 收敛 性 进行 分 析 


对 种 群 规模 无 穷 大 的 EDA 进行 数学 建 模 ,分 析 了 EDA 算法 达到 
全 局 收敛 的 一 些 条 件 


Markus Hohfeld(1997)5631 


Q. F. Zhang(2004)"°7) 


R. Rastegar(2005)'**! 分 析 了 种 群 规模 无 穷 大 的 EDA 要 达到 全 局 收敛 所 需要 的 代数 
Tianshi Chen(2007)‘°* a p E C SE RE 


HE HRK E EA A h h EK e S E AY 7K, FF E E SE E A BF 
T EDA 终止 的 条 件 


Jiri Ocenasek(2006)‘” 


8.4 分 布 估 计算 法 的 应 用 


分 布 估计 算法 从 “宏观 ”的 角度 来 引导 算法 进行 搜索 ,这 种 全 新 的 进化 机 制 在 实际 应 
用 中 常常 表现 出 比 遗 传 算法 更 好 的 性 能 。 尤 其 在 解决 复杂 的 大 规模 优化 问题 时 ,分 布 估 
计算 法 能 够 以 较 快 的 速度 收敛 于 全 局 的 最 优 解 。 因 而 应 用 分 布 估计 算法 解决 科学 与 工程 
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计算 智能 
中 的 复杂 优化 问题 是 当前 的 一 个 人 研究 热点 。 分 布 估计 算法 目前 已 经 成 功 应 用 于 组 合 优 
化 、 机 天 学 习 、 横 式 识别 和 生物 信息 等 众多 领域 。 本 节 回 读者 介绍 分 布 估计 算法 在 一 些 重 
要 应 用 领域 的 发 展 情况 。 

1. 函数 优化 

现实 中 许多 问题 通过 数学 建 模 都 可 以 转化 为 函数 最 优化 问题 。 解 决 函数 优化 问题 的 
fe BT RA mE F Be SS A LS AE Be BB BES Se. (Ae E H PR PR K EE Be A k H op PH PB 
不 可 导 等 情况 下 ,这 些 传统 的 数值 优化 方法 往往 显得 无 能 为 力 , 取 而 代 之 的 是 遗传 算法 等 
启发 式 进化 算法 。 而 分 布 估计 算法 则 是 其 中 的 一 股 新 生 力 量 。 与 其 他 启发 式 进化 算法 相 
EE ,分布 估计 算法 能 够 更 有 效 地 保护 个 体 信息 中 的 “积木 块 ”, 使 之 不 被 破坏 ,因而 在 求解 
高 维 的 复杂 函数 优化 问题 时 ,往往 能 够 以 更 快 的 速度 收 钱 于 全 局 最 优 解 。 此 外 ,在 具有 先 
验 知 识 的 情况 下 ,我们 还 可 以 有 和 针对 性 地 选择 概率 模型 ,从 而 设计 出 性 能 更 加 优越 的 分 布 
估计 算法 。 

简单 的 分 布 估计 算法 在 求解 复杂 果 数 优化 时 性 能 较 差 ,尤其 是 在 处 理 多 峰 或 是 变量 
间 具 有 关联 关系 的 问题 时 容易 陷入 局 部 最 优 。 因 此 ,目前 用 于 解决 复杂 函数 优化 问题 的 
分 布 估 计算 法 大 都 混合 了 其 他 技术 如 局 部 搜索 技术 . 自 适 应 技术 、 主 成 分 分 析 技 
术 忆 和 其 他 进化 算法 所 的 等 ,这 里 不 再 袭 述 。 

2. 组 合 优化 

组 合 优化 问题 是 一 类 离散 最 优化 问题 。 典 型 的 组 合 优化 问题 有 旅行 商 问 题 
(Traveling Salesman problem,TSP) fF Mb dal BE [A] (Job Shop Schedule Problem,JSP) 和 
最 大 流 问 题 (Maximum Flow Problem,MEFP) 等 。 传 统 的 进化 算法 如 遗传 算法 和 模拟 退 
火 算 法 等 已 成 功 解决 了 大 量 复 杂 的 组 合 优化 问题 。 随 春分 布 估计 算法 的 兴起 ,其 在 组 合 
优化 领域 的 应 用 也 逐步 发 展 起 来 。 如 文献 [33] 以 TSP JSP 以 及 0-1 背包 等 组 合 优化 问 
题 为 例 , 详 细 地 阐述 了 EDA 解决 组 合 优化 问题 的 一 般 思路 ,并 通过 实验 仿真 证 明了 EDA 
可 以 有 效 解决 组 合 优化 问题 。 组 合 优化 的 范围 非常 广泛 ,这 里 只 列举 分 布 佑 计算 法 在 其 
中 一 些 重要 问题 上 的 应 用 ,如 表 8.7 所 示 。 

表 8.7 EDA 在 组 合 优 化 领域 的 研究 情况 


旅行 商 问题 Traveling Salesman Problem Larrañaga (2002)033] 

作业 调度 问题 Job Shop Scheduling Problem Larrañaga (2002)"** 、Jarboui(2009)538] 
护士 调度 问题 Nurse Scheduling Problem U. Aickelin(2006)533] 

网 络 控制 Network Control H. B. Lia(2008)%” 

最 大 团 问 题 Maximum Clique Problem Q. F. Zhang(2005) 
核反应 堆 燃 料 管理 问题 | Nuclear Reactor Fuel Management | S. Jiang(2006)5351 


最 大 分 集 问 题 Maximum Diversity Problem Wang(2009)0351 


3. 生物 信息 学 

随 看 医学 和 生物 学 的 快速 发 展 ,特别 是 人 类 基因 组 计划 的 顺利 推进 ,我 们 可 以 获取 海 
量 的 生物 学 数据 。 如 何 从 海量 数据 中 获取 对 人 类 有 用 的 信息 是 当今 生物 学 领域 的 一 个 严 
峻 挑战 。 而 生物 信息 学 即 是 在 这 个 背景 下 诞生 的 一 门 结合 计算 机 科学 、 生 物 学 和 数学 等 
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学 科 的 交叉 学 科 。 由 于 分 布 估计 算法 在 处 理 高 维 复 杂 问 题 时 表现 出 展 好 的 性 能 ,近年 来 ， 
陆续 有 学 者 采用 EDA 来 解决 生物 信息 学 领域 的 问题 。 从 目前 的 文献 来 看 ,分 布 估计 算 
法 在 生物 信息 学 领域 的 应 用 主要 有 以 下 几 个 方面 。 

(1) 基因 结构 分 析 

从 基因 组 中 确定 基因 的 结构 和 位 置 是 全 究 基因 组 的 重要 步骤 。 由 于 一 个 基因 可 能 包 
含 多 个 部 分 ,因此 可 以 将 基因 结构 的 确定 和 定位 的 过 程 看 成 是 一 个 分 割 和 识别 的 过 程 。 
H TER Bi) WA il) SE AL AY te FA BER. ORO EE FOS HE H HK (Feature Subset 
Selection, FSS) , 即 从 大 量 的 特征 数据 中 找 出 最 相关 的 特征 子 集 , 这 是 一 个 NP 难 问题 。 
目前 已 提出 了 多 篇 采用 EDA 方法 解决 FSS 问题 的 文献 。 如 文献 L50] 将 EDA 应 用 于 大 
规模 的 特征 子 集 选择 取得 了 民 好 效果 ;文献 L71j 提 出 一 种 基于 UMDA 的 方法 用 于 解决 
性 征 子 集 选 取 问 题 ;文献 [41j] 则 采用 分 布 估计 算法 解决 了 包含 特征 选取 问题 的 特征 排序 
(Feature Ranking) 问 题 等 。 

(2) DNA 微 阵 列 数据 的 分 类 和 聚 类 分 析 

微 阵 列 技术 是 近年 来 兴起 的 分 子 生物 学 人 研究 技术 ,通过 微 阵列 技术 我 们 可 以 获取 大 
量 的 基因 表达 数据 ,而 分 析 这 些 DNA 微 阵 列 数据 将 有 助 于 人 们 认识 许多 生物 过 程 的 本 
质 , 如 衰老 .总 证 和 发 育 等 。 由 于 涉及 的 数据 量 庞大 ,局 发 式 算 法 如 遗传 算法 和 分 布 估计 
算法 等 成 为 分 析 微 阵列 数据 的 有 效 工 具 。 如 文献 [42]、[L43j 采 用 基于 PBIL 的 分 布 估 计 
算法 从 DNA 微 阵 列 基因 表达 数据 集中 确定 非 元 余 的 基因 ,取得 了 良好 的 效果 ;文献 L441] 
采用 基于 UMDA 的 分 布 估计 算法 进行 基因 表达 数据 的 聚 类 分 析 取 得 了 比 遗 传 算 法 更 好 
的 效果 。 

(3) 重 日 质 结 构 预 测 与 重 日 质 设计 

和 蛋白质 结 构 预 测 和 和 蛋白 质 设计 是 生物 信息 学 的 两 个 重要 课题 ,两 者 通过 建 模 都 可 以 
转化 为 困 数 优化 问题 。 转 化 后 的 图 数 优 化 问题 的 解 空间 非 第 庞大 ,而 且 包 含 大 量 的 局 部 
最 优 解 ,于 是 ,有 学 者 提出 采用 分 布 估计 算法 解决 重 日 质 结 构 预 测 与 重 晶 质 设计 ,如 文 
献 L[45] 一 文献 L47] 等 。 

4. 其 他 应 用 

此 外 ,分 布 估 计算 法 在 多 目标 优化 “生机 嚣 学习" 模式 识别 "中 和 聚 类 分 
析 " 所 等 领域 也 取得 了 成 功 的 应 用 。 由 于 分 布 估计 算法 还 是 一 个 新 生 的 进化 算法 ,拓展 其 
应 用 领域 将 是 计算 智能 领域 的 一 个 研究 热点 。 
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. 请 指 出 分 布 估计 算法 的 思想 起 源 及 其 特点 。 

. 请 写 出 分 布 估计 算法 的 基本 算法 流程 。 

. 分布 估 计算 法 有 哪些 典型 的 概率 模型 ? 各 有 什么 优 缺点 ? 

. 分布 估计 算法 解决 离散 性 问题 和 连续 性 问题 时 有 什么 不 同 ? 

. 分布 估计 算法 在 并 行 设计 方面 有 哪些 常用 策略 ? 和 其 他 进化 算法 相 比 ,分 布 估计 
算法 在 并 行 设 计 方 面 有 什么 不 同 之 处 ? 
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6. 上 机 编写 完整 的 UMDA 程序 ,对 100 维 的 OneMax 问题 进行 求解 。 
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Memetic 算法 


在 面 对 大 规模 、 复 杂 的 优 
化 问题 时 ， 遗 传 算法 、 蚁 群 优 
化 、 粒 子 群 优化 等 计算 智能 方 
法 存在 着 收敛 速度 慢 、 难 以 寻 
找 高 精度 的 解 的 缺点 。 


可 选 的 路 径 太 多 

了 ， 怎 么 找到 最 N 

优 路 径 啊 ? END 引入 局 部 搜索 
方法 帮忙 吧 ! 


引入 局 部 搜索 方 
法 ， 对 计算 智能 方法 局 部 搜索 与 改进 
所 发 现 的 解 进 行 改进 ， “| 
将 有 效 地 提高 计算 秋 
能 方法 的 求解 效率 和 
精度 。 


Memetic 算 法 实际 上 就 是 基于 群体 的 计算 智能 方法 与 局 部 搜索 方法 相 
结合 的 一 类 新 型 的 优化 技术 。 


在 人 类 进化 的 历史 长 河中 ,人 在 具有 生物 学 意义 上 的 进化 过 程 的 同时 ,人 的 观念 、 思 
想 与 理论 体系 等 文化 属性 也 在 不 断 地 传承 和 进化 。 与 基因 (gene) 相 对 应 ,我 们 可 以 把 文 
化 属性 的 一 个 复制 和 传播 单位 理解 成 是 一 种 文化 基因 (meme)。 在 文化 进化 过 程 中 ,与 生 
物 进化 的 目 然 选择 过 程 相 类 似 , 有 利于 人 类 利益 的 优 恨 的 文化 基因 往往 能 够 得 到 不 断 地 
传承 和 发 展 。 然 而 ,与 生物 进化 过 程 所 不 同 的 是 ,文化 的 复制 ,传播 和 变异 都 由 大 量 的 专 
业 知 识 所 支撑 。 这 些 专业 知识 使 得 文化 的 变异 往往 市 来 进展 而 非 混乱 ,因此 文化 的 进化 
速度 远 快 于 生物 的 进化 速度 。 

本 草 的 主要 内 容 包 括 : 

e Memetic 算法 的 基本 思想 ; 

。 Memetic 算法 的 基本 框架 ; 

。 静态 Memetic 算法 ; 

。 动态 Memetic 算法 ; 

e Memetic 算法 的 理论 与 应 用 人 研究 展望 。 


9.1 Memetic 算法 的 基本 思想 


在 前 几 间 中, 我们 已 经 学 习 了 遗传 算法 、 蚁 群 优化 和 粒子 群 优化 等 多 种 基于 群体 的 计 
算 智 能 方法 。 这 些 计 算 智 能 方法 具有 全 局 收敛 ,健壮 性 强 、 并 行 分 布 计算 、 无 须 对 求解 目 
标 进 行 求 导 等 数学 操作 等 特点 ,目前 已 经 成 为 最 受 关注 和 应 用 最 广泛 的 一 类 全 局 优化 技 
术 。 然 而 ,在 面 对 大 规模 、 十 分 复杂 的 优化 问题 时 ,仅仅 依靠 计算 智能 方法 还 难以 找到 满 
曹 的 解 , 而 且 将 耗费 巨大 的 计算 量 。 一 些 学 者 的 先行 妍 究 表明 ,通过 把 计算 智能 方法 与 其 
他 优化 技术 混合 ,将 能 够 有 效 地 提高 算法 的 性 能 。Memetic 算法 (Memetic Algorithm, 
MA) 实 际 上 就 是 把 基于 群体 的 计算 智能 方法 和 局 部 搜索 技术 相 结 合 的 一 种 新 型 的 优化 
ER”, 

Memetic 一 词 派生 于 英国 牛津 大 学 学 者 道 金 斯 (Dawkins) 于 1976 年 所 著 的 《日 私 的 
基因 》(The Sel fish Gene) 一 书 呈 中 提出 的 一 个 概念 meme。 所 谓 meme, 在 国内 也 主 
作 ”* 砚 母 "“ 拟 子 >“ 迷 母 ? 或 "文化 基因 ?等 , 指 的 是 文化 领域 的 一 个 信息 单位 , 它 与 遗传 学 
中 的 “基因 ”(gene) 一 词 相 对 应 。 人 的 各 种 思想 、 观念、 理论 体系 和 科学 知识 ,如 一 曲 音乐 、 
一 句 谚 语 .一 幅 图 画 、 一 个 计算 机 算法 等 都 可 以 成 为 一 个 meme。 在 生物 进化 过 程 中 , 通 
过 基因 的 复制 变异 以 及 目 然 选 择 ,生物 的 构造 .机 能 和 习性 等 性 状 和 逐渐 癌 适 应 于 生存 环 
境 的 方向 发 展 。 与 这 个 过 程 相 类 似 , 各 种 meme 通过 广义 上 被 称 为 “模仿 ?的 过 程 在 人 之 
间 传 播 改变 ,有 利于 人 类 利益 的 meme 往往 能 够 得 到 不 断 的 传承 和 发 展 。 然 而 ,文化 进 
化 与 生物 进化 还 存在 看 一 个 显 闭 的 区 别 。 在 生物 进化 过 程 中 ,基因 的 变异 是 随机 的 ,只 有 
少数 的 变异 能 够 促进 生物 加 与 环境 相 适 应 的 方 回 发 展 , 并 在 目 然 选择 过 程 中 得 到 保留 , 因 
此 生物 进化 的 速度 相对 缓慢 。 在 文化 进化 过 程 中 ,新 科学 观点 的 提出 依赖 于 充分 的 理论 
依据 和 实验 观察 的 ,悦耳 曲调 的 创作 离 不 开 对 乐理 知识 的 充分 理解 ,各 种 文化 基因 的 变 
异 ,往往 都 需要 以 充分 的 专业 知识 作为 依 徘 。 在 这 些 专 业 知识 的 支撑 下 ,文化 的 变异 通常 
将 市 来 改进 而 非 混 乱 ,因此 ,文化 的 进化 速度 要 比 生 物 的 进化 速度 快 得 多 。 受 到 这 种 文化 
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进化 思想 的 启发 ,Moscato 将 局 部 的 学 习 与 优化 策略 比喻 为 一 种 meme, 把 基于 meme 
的 局 部 搜索 方法 和 基于 传统 进化 计算 的 全 局 优化 方法 相 结合 ,于 1989 年 首先 提出 了 
Memetic 算法 的 概念 。 

MA 最 初 被 提出 时 ,一般 是 指 遗 传 算法 (Genetic Algorithm,GA) 与 局 部 搜索 的 结合 ， 
因而 在 一 些 文献 中 也 被 称 为 混合 遗传 算法 (hybrid GA) 中。 近年 来 , 随 着 进化 计算 研究 
领域 的 快速 发 展 ,如 蚁 群 优 化 算法 (Ant Colony Optimization, ACO)! 和 粒子 群 优 化 算法 
(Particle Swarm Optimization,PSO) 中 等 基于 群体 的 全 局 搜索 算法 相继 被 提出 ,MA 这 
一 概念 的 内 涵 也 不 断 得 到 丰富 。 目 前 ,MA 已 经 成 为 基于 群体 的 全 局 搜索 方法 与 局 部 搜 
索 相 结合 的 一 类 算法 的 总 称 ” 。 由 于 全 局 搜索 方法 善于 探索 出 解 空 间 中 的 优秀 区 域 ,而 
局 部 搜索 则 能 够 很 快 地 发 现 局 部 区 域 中 的 最 优点 ,MA 的 核心 思想 就 是 把 它们 的 全 局 搜 
索 与 局 部 搜索 能 力 结合 起 来 "J 。 与 单纯 的 进化 算法 相 比 ,MA 往往 能 以 更 少 的 计算 代价 ， 
得 到 具有 更 高 精确 度 的 解 , 在 解决 复杂 、 高 维 、 大 规模 问题 时 具有 明显 的 优势 ,近年 来 逐渐 
受到 了 国内 外 学 者 的 重视 Do 。IEEE Congress on Evolutionary Computation 等 进化 
计算 领域 的 权威 国际 会 议 已 经 把 MA 作为 重要 的 专题 子 以 讨论 ,而 国际 期 刊 IEEE 
Part B 也 于 2007 年 出 版 了 关于 MA 


Transactions on System, Man, and Cybernetics 
的 专刊 。 

与 GA, ACO, PSO 等 概念 相 比 ,MA 具有 更 广 的 范畴 ,是 一 类 算法 的 总 称 。 因 此 本 草 
根据 Krasnogor 和 Smith" 的 综述 ,以 “框架 ”的 形式 来 描述 MA 这 类 算法 。 目 前 已 经 有 
KEW MA 被 提出 ,并 已 经 成 功 地 应 用 于 各 种 不 同类 型 的 优化 问题 ,然而 这 些 算法 往往 
都 采用 自己 特有 的 方式 把 全 局 搜索 和 局 部 搜索 结合 起 来 ,其 设计 过 程 仍然 是 ad hoc 的 ， 
即 需要 根据 不 同 应 用 的 具体 特点 进行 个 性 化 设计 ,缺乏 统一 的 指引 与 规范 2". 。 本 章 将 根 
据 全 局 搜索 与 局 部 搜索 结合 的 不 同方 式 , 把 这 些 MA 算法 划分 为 静态 与 动态 两 类 ,系统 
地 分 析 这 些 算法 的 全 局 搜索 与 局 部 搜索 结合 方式 的 特点 。 


9.2 Memetic 算法 的 基本 框架 


为 了 系统 地 分 析 目 前 已 经 被 提出 的 大 量 Memetic 算法 ,Krasnogor 和 Smitht” 提出 

了 MA 的 框架 模型 。 根 据 该 框架 ,一 个 MA 应 该 包含 如 下 的 9 PP BER BD 
MA = (P ,& ,of fspring Size , popSize.l.F.G.U.L) (9.1) 

其 中 

© 了 一 (zl,zz，…,Zzapsx) 表 示 初 始 种 群 ; 

。 SO 代表 算法 的 初始 参数 设置 ; 

e of fspringSize 表示 通过 生成 图 数 G 得 到 的 后 代 的 数目 ; 
popSize 表示 种 群 大 小 ; 
/代表 编码 长 度 ; 
下 表示 适应 值 图 数 (fitness function)。 给 定 待 解 问题 的 解 空 间 ( 即 所 有 候选 解 的 
集合 )T, 适 应 值 函数 下 是 一 个 从 解 空 间 I 到 正 实数 集 R7 的 映射 , 即 对 每 一 个 候选 
ff sE I, HEMA F(s) 是 一 个 正 实数 ; 
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。G 代表 生成 函数 (generating function) , 它 是 一 个 从 市 有 popSize 个 候选 解 的 集合 
到 带 有 of fspringSize 个 候选 解 的 集合 的 映射 。 给 定 第 有 代 的 种 群 忆 = Cat, 
Tosse) ,生成 图 数 G 作用 于 Pt 可 以 得 到 一 个 带 有 of fspringSize 个 新 解 
(后 代 ) 的 集合 OF =GCP*) = Co} ,02，*… ,00pyspringsize )。 例 如 ,GA 中 的 交叉 、 变异 算 
子 ,都 属于 生成 图 数 ; 
U 代表 更 新 图 数 Cupdating function) , 它 的 作用 是 根据 第 下 代 的 种 群 己 * 及 其 后 代 
Ot 得 到 第 & 十 1 代 的 新 种 群 PAT? BI PAT =UCP* XO)。 例如 ,GA 中 的 选择 操 
作 就 属于 更 新 函数 ; 
了 一 (L ,Ls,…,L) 是 一 个 局 部 搜索 策略 的 集合 , 称 为 局 部 搜索 策略 池 。 其 中 工 ; 
(1 硅 i 硅 m) 代 表 一 种 局 部 搜索 策略 ,也 称 为 一 个 meme。 目 前 大 部 分 的 MA 都 只 
含有 一 种 局 部 搜索 策略 , 即 mm 二 1。 当 算法 使 用 了 不 止 一 种 局 部 搜索 策略 
( 即 光 二 1) 时 , 称 该 算法 为 多 meme(multi-meme) 的 MA, 根据 这 个 框架 ,MA 的 
基本 流程 框架 如 图 9. 1 所 示 。 


开始 ) 
录用 工 中 的 局 


0. 1 ae 部 搜索 策略 进 
Seas |“ | 行 局 部 搜索 


满足 算法 E 
结束 条 件 ? 
计算 适应 值 函 数 
采用 工 中 的 局 


P ”=U(P XOD) 利 用 更 新 ^A---]7 部 搜索 策略 进 
函数 (选择 ) 得 到 新 一 代 种 群 二 行 局 部 搜索 


采用 工 中 的 局 
O*=G(P™") 利用 生成 函数 小 -一 一 了] 部 搜索 策略 进 
(交叉 、 变 异 等 ) 生 成 新 群体 行 局 部 搜索 


图 9.1 MA 的 基本 流程 框架 


从 上 面 给 出 的 流程 框架 可 知 , 与 传统 的 进化 计算 方法 相 比 ,MA 实际 上 只 是 增加 了 一 
个 局 部 搜索 操作 , 即 增加 了 工 二 (Li ,Li,…,L) 这 个 要 素 。 然 而 ,这 个 框架 却 蕴 涵 了 MA 
各 种 各 样 不 同 的 实现 形式 ,如 表 9.1 所 示 。 其 全 局 搜索 策略 可 以 是 GA、ACO 或 PSO 等 
各 种 基于 群体 的 全 局 搜索 方法 ;局 部 搜索 策略 可 以 是 爬山 法 禁忌 搜索 、 模 拟 退 火 或 其 他 
与 具体 问题 相关 的 局 部 搜索 方法 ,甚至 是 多 种 局 部 搜索 方法 一 起 使 用 ; 局 部 搜索 可 以 与 全 
局 搜索 策略 的 生成 函数 (例如 GA 中 的 交叉 、 变异 操作 ) 相 结合 ,也 可 以 与 更 新 图 数 ( 例 如 
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GA 中 的 选择 操作 ) 相 结合 ;局 部 搜索 的 执行 可 以 依据 Lamarckian 模型 ,也 可 以 依据 
Baldwinian 模型 0 中 ;局 部 搜索 策略 可 以 作用 于 群体 中 的 某 个 个 体 之 中 ,也 可 以 作用 于 
整个 群体 。 


表 9.1 设计 MA 的 各 种 可 选 方案 
MA 的 设计 步骤 可 选择 的 方案 


进化 算法 

遗传 算法 (GA) ,进化 规划 (EP) 

进化 策略 (ES) 、 遗 传 规划 (GP) 
其 他 群体 智能 方法 

蚁 群 优 化 (ACO) ,粒子 群 优化 (PSO) 等 


{ 使 用 一 种 局 部 搜索 策略 


全 局 搜索 策略 的 选择 


爬山 法 .模拟 退火 .禁忌 搜索 、. 导 引 式 局 部 搜索 与 具体 问题 相 
关 的 特殊 局 部 搜索 策略 等 
使 用 ee memetic algortihm) 


Ej AE i PRB CAE M as 
与 更 新 函数 (选择 ) 相 结 


Lamarckian 式 


{ 由 局 部 搜索 改进 得 到 的 个 体 将 参加 进化 操作 


局 部 搜索 策略 的 选择 


局 部 搜索 的 位 置 


局 部 搜索 的 方式 Baldwinian 式 : 

由 局 部 搜索 改进 得 到 的 个 体 不 参加 进化 操作 
作用 于 整个 群体 
作用 于 部 分 个 体 
局 部 搜索 的 强度 : 每 次 局 部 搜索 的 计算 量 是 多 少 
局 部 搜索 的 频率 : 每 隅 多 和 久 进 行 一 次 局 部 搜索 


局 部 搜索 策略 的 其 他 参数 邻 域 形 状 、 邻 域 大 小 、 移 动 步 长 等 


局 部 搜索 的 对 象 


局 部 搜索 与 全 局 搜索 的 平衡 


对 于 一 个 MA 来 说 ,局 部 搜索 的 选择 以 及 全 局 搜索 与 局 部 搜索 的 结合 方式 将 直接 影 
啊 到 算法 性 能 的 好 坏 "*?3s 4 。 因 此 ,设计 一 个 高 性 能 的 MA 必须 考虑 以 下 四 方面 的 问题 : 
(1) 应 该 选择 什么 局 部 搜索 策略 ; (2) 应 该 在 什么 时 候 执 行 局 部 搜索 ; (3) 应 该 针对 哪些 
个 体 进行 局 部 搜索 ,应 该 采用 Lamarckian 模型 还 是 Baldwinian 模型 ; (4) 如 何平 衡 算法 
的 全 局 搜索 能 力 和 局 部 搜索 能 力 。 

基于 局 部 搜索 与 全 局 搜索 的 各 种 不 同 的 结合 方式 ,目前 已 经 有 多 种 针对 MA 的 分 类 
方式 被 提出 。 例 如 Krasnogor 和 Smith‘?! 以 执行 局 部 搜索 的 位 置 为 依据 ,按照 “局 部 搜索 
是 否 引 入 了 历史 信息 ?”“ 局 部 搜索 是 否 与 选择 算 子 (更 新 图 数 ) 相 绪 合 ”"“ 局 部 搜索 是 否 与 
交叉 算 子 相 结合 ”以 及 “局 部 搜索 是 否 与 变异 算 子 相 结合 ”来 实现 对 MA 的 分 类 。 本 划 依 
据 局 部 搜索 的 设置 在 算法 执行 过 程 中 是 否 会 被 调整 ,把 MA 划分 为 静态 MA 和 动态 MA 
两 类 。 其 中 ,静态 MA 的 局 部 搜索 设置 在 算法 执行 的 整个 阶段 都 是 固定 不 变 的 ,而 动态 
MA 的 局 部 搜索 设置 在 算法 执行 的 过 程 中 能 够 不 断 得 到 调整 。 下 面 两 节 将 先 描述 静态 
MA ,并 分 析 执 行 局 部 搜索 的 不 同位 置 以 及 不 同方 式 所 各 自 具 有 的 特点 ,然后 再 介绍 动态 
MA 的 分 类 以 及 目前 最 重要 的 几 种 动态 MA。 
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9.3 静态 Memetic 算法 


目前 已 被 提出 的 MA 大 部 分 都 是 静态 的 ”3” 。 这 些 静 态 的 MA 一 般 只 采用 一 种 局 
部 搜索 策略 ,局 部 搜索 的 执行 位 置 和 方式 都 是 预先 确定 的 ,并 且 在 整个 算法 的 执行 过 程 中 
保持 不 变 。 其 中 ,局 部 搜索 策略 的 选择 往往 与 具体 问题 的 特征 相关 ,因此 这 里 主要 讨论 执 
行 局 部 搜索 的 不 同位 置 和 方式 所 具有 的 特点 。 


9.3.1 局 部 搜索 的 位 置 


根据 Krasnogor 和 Smithl9 给 出 的 框架 模型 (参考 图 9.1) 可 知 ,在 算法 的 每 一 次 迭 
代 过 程 中 ,局 部 搜索 一 般 可 以 安排 在 两 个 位 置 执行 , 即 与 生成 函数 相 结 合 或 与 更 新 冰 数 相 
结合 。( 注 意 : 一 些 文献 中 也 把 局 部 搜索 作用 于 初始 解 , 以 提高 初始 解 的 质量 ,但 这 一 般 
只 作为 一 种 辅助 方法 。) 

1. 与 生成 函数 相 结合 的 局 部 搜索 

在 以 GA 作为 全 局 搜索 方法 的 MA 中 ,局 部 搜索 与 生成 图 数 相 结合 的 典型 方式 是 在 
GA 的 交叉 和 变异 操作 中 加 入 局 部 搜索 。 一 种 简单 的 形式 是 在 交叉 或 变异 操作 之 后 , 利 
用 局 部 搜索 策略 进一步 改进 新 生成 的 解 。 例 如 ,文献 L19] 设 计 了 一 种 用 于 求解 大 规模 旅 
行商 问题 的 MA, 对 于 由 交叉 操作 或 变异 操作 产生 的 每 一 个 新 个 体 , 算 法 都 引入 Lin- 
Kernighan 司 发 式 方 法 进行 局 部 搜索 。 与 文献 L19] 相 类 似 , 文 献 L20] 对 交 义 或 变异 操作 
得 到 的 新 个 体 引 入 禁忌 搜索 策略 作为 局 部 搜索 ,提出 了 蜂 需 移动 网 络 中 切换 蜂 格 的 MA. 
文献 L5]L21jL22J 则 只 对 交叉 和 变异 操作 都 执行 完毕 后 得 到 的 新 个 体 进 行 局 部 改进 。 在 
国内 ,文献 L23] 一 文献 L25] 分 别提 出 了 求解 多 约束 背包 问题 、 机 场 停机 位 分 配 问题 和 集装箱 
配 装 问题 的 MA, 这 些 算 法 的 局 部 搜索 策略 都 是 作用 于 由 交叉 和 变异 操作 得 到 的 新 个 体 。 

局 部 搜索 与 交叉 和 变异 算 子 结合 的 另 一 种 形式 是 根据 待 解 问题 的 特点 修改 交叉 算 子 
和 变异 操作 ,使 得 交叉 和 变异 操作 也 具有 局 部 搜索 能 力 。 在 连续 空间 的 优化 问题 领域 , 文 
献 [26 ] 和 文献 [27] 采 用 了 具有 局 部 搜索 能 力 的 单纯 型 交叉 (simplex crossover) $E AR 
了 原 有 的 单 点 交叉 算 子 , 称 这 类 具有 局 部 搜索 能 力 的 特殊 交叉 算 子 为 基于 交叉 的 局 部 搜 
索 (crossover-based local search), M MK] 22 |、| 28 |]、|[ 29 | 则 采用 了 高 斯 变异 (Gaussian 
mutation) 或 柯 西 变异 (Cauchy mutation) 来 提高 进化 算法 的 局 部 搜索 能 力 。 在 离散 空间 
的 优化 问题 领域 ,文献 L30」L314 引 入 了 一 种 边 重 组 交叉 (Edge Assembly Crossover, 
EAX) 算 子 来 提高 GA 解决 旅行 商 问 题 (Traveling Salesman Problem, TSP) MY fy J wB 48 
索 能 力 。 其 中 ,文献 L30]j 迭 代 地 使 用 边 重 组 交叉 策略 直到 发 现 更 好 的 解 , 而 文献 L31] 则 进 
一 步 引 入 2-opt 局 部 搜索 算法 改进 交 义 后 得 到 的 解 。 

除了 在 交叉 和 变异 算 子 上 添加 局 部 搜索 之 外 ,部 分 学 者 ”5 也 尝试 在 PSO 的 速度 
更 新 公式 与 位 置 更 新 公式 中 引入 局 部 搜索 策略 ,以 进一步 提高 PSO 的 收敛 速度 。 

在 上 述 MA 中 ,由 于 局 部 搜索 伴随 着 生成 函数 而 执行 ,因此 在 一 般 情况 下 ,局 部 搜索 
能 够 作用 到 每 个 新 生成 的 个 体 之 上 ,Krasnogor 和 Smith" 称 这 种 方式 为 细 粒 度 Cine- 
grain) 方 式 的 MA。 这 种 方式 的 优点 是 使 得 各 个 新 个 体 都 得 到 了 一 定 程 度 的 局 部 改进 ， 
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提高 了 个 体 的 质量 。 然 而 ,由 于 生成 浮 数 往往 只 依赖 于 某 些 个 体 ( 例 如 交叉 操作 一 般 只 
于 2 不 不 栖 进 行 ,而 变异 操作 往往 只 焦 瑚 于 1 sis ANEA AE A 
体 的 信息 ,而 不 能 利用 整个 群体 的 信息 。 同 时 ,对 所 有 新 生成 的 个 体 都 进行 局 部 搜索 也 可 
能 造成 较 大 的 计算 量 。 为 了 避免 对 各 个 个 体 都 进行 局 部 搜索 而 市 来 的 庞大 计算 量 , 部 分 
算法 通过 各 种 方式 减少 局 部 搜索 的 执行 次 数 。 例 如 文献 [34] 仅 对 适应 值 优 于 国 值 的 个 体 
进行 局 部 搜索 。 

2. 与 更 新 函数 相 结 合 的 局 部 搜索 

部 分 MA 也 尝试 把 局 部 搜索 策略 与 更 新 图 数 (GA 的 选择 算 子 ) 相 结合 。 也 就 是 说 ， 
在 通过 生成 图 数 产生 了 后 代 OF 后 ,算法 把 局 部 搜索 策略 引入 到 从 PE 和 0O* 所 构成 的 群 
体 中 筛选 出 新 一 代 种 群 的 过 程 中 。 例 如 ,Tu 和 Lu 在 GA 中 引入 了 一 种 局 部 选择 
(local selection) 策略 ,该 策略 对 每 一 个 染色 体 所 表示 的 区 域 按照 正 态 分 布 进行 随机 取样 ， 
并 根据 取样 结果 调整 区 域 的 属性 。 

Krasnogor #I Smitht 称 这 种 局 部 搜索 与 更 新 图 数 相 结合 的 方式 为 粗 粒 度 的 
(coarse-grain) 方 式 的 MA。 在 这 种 方式 下 ,局 部 搜索 可 以 作用 到 由 Pt A O* 构成 的 整个 
群体 之 上 。 这 样 , 一 方面 ,局 部 搜索 操作 能 够 利用 整个 群体 的 全 局 信息 来 指导 搜索 ,能 有 
效 地 提高 局 部 搜索 的 针对 性 ; 男 一 方面 ,未 必 所 有 新 个 体 都 能 得 到 局 部 改进 ,有 了 时 只 有 适 
应 值 较 高 的 个 体能 够 得 到 进一步 的 局 部 改进 。 


9.3.2 ”Lamarckian 模式 和 Baldwinian 模式 


在 进化 算法 中 引入 局 部 搜索 的 主要 模式 包括 Lamarckian 模式 (可 译作 拉 马 殉 式 ) 和 
Baldwinian 模式 。Lamarckian 模式 指 的 是 “后 天 获取 的 特性 也 可 以 遗传 ”, 也 就 是 说 ,在 采用 
局 部 搜索 策略 改进 了 某 个 个 体 之 后 ,改进 了 的 个 体 将 (代替 原 有 个 体 ) 参 与 全 局 搜索 方法 的 
进化 操作 。 相 反 地 ,在 Baldwinian 模式 中 ,被 局 部 搜索 策略 改进 了 的 个 体 不 会 代 蔡 原 有 个 体 
参与 进化 操作 ,交叉 、 变 异 等 进化 算 子 仍然 只 作用 于 未 被 局 部 搜索 改进 的 个 体 上 。 

目前 , 绝 大 部 分 的 MA 都 采用 了 Lamarckian 模式 的 局 部 搜索 。 事 实 上 ,Lamarckian 
模式 的 局 部 搜索 能 够 把 由 局 部 搜索 改进 得 到 的 更 优 个 体 引 入 进化 过 程 ,文献 L10]L36 等 
的 实验 结果 也 证 明了 在 一 般 情 况 下 ,Lamarckian 模式 比 Baldwinian 模式 具有 更 高 的 性 
能 。 然 而 ,Krasnogor 和 Smithlo 也 指出 ,如 果 不 断 执行 Lamarckian 模式 局 部 搜索 直至 
某 些 个 体 落 入 局 部 最 优 , 可 能 会 减少 算法 的 搜索 多 样 性 ,导致 算法 陷于 停 浪 , 这 时 需要 来 
用 局 部 搜索 与 更 新 函数 相 结 合 的 粗 粒 度 方式 ,根据 整个 群体 的 分 布 状态 来 确定 局 部 搜索 
策略 。 


9.4 动态 Memetic 算法 


941 动态 MA 的 简介 与 分 类 


在 静态 MA 中 ,如 表 9. 1 所 示 的 所 有 局 部 搜索 设置 部 要 在 算法 执行 前 预先 确定 ,这 
往往 需要 依赖 于 算法 设计 者 的 先 验 知识 。 事 实 上 ,目前 对 局 部 搜索 策略 的 选择 、 局 部 搜索 
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的 位 置 .局 部 搜索 的 强度 和 频率 等 设 定 还 没有 统一 的 规范 和 指引 ,算法 设计 者 需要 开展 大 
量 实验 来 发 现 适用 于 待 解 问 题 的 局 部 搜索 设 定 方式 ,这 削弱 了 MA 的 健壮 性 ,限制 了 
MA 在 实际 生产 中 的 各 种 问题 上 的 进一步 应 用 。 为 了 进一步 提高 MA 的 普 适 性 与 健壮 
性 ,一 些 学 者 3" 时 提 出 了 在 算法 执行 过 程 中 自动 调节 局 部 搜索 设置 的 策略 ,能 够 自 
动 调节 局 部 搜索 设置 的 MA 就 属于 动态 MA, 

由 于 局 部 搜索 策略 的 选择 是 MA 中 最 核心 的 局 部 搜索 设置 ,因此 ,许多 动态 MA 都 
采用 了 多 种 局 部 搜索 策略 , 即 属于 multimeme 的 MACHOS] 。 动 态 多 局 部 搜索 的 动 
态 MA 的 流程 图 如 图 9. 2 所 示 。 在 执行 局 部 搜索 前 ,这 类 多 局 部 搜索 策略 的 动态 MA 将 
先 从 局 部 搜索 策略 池 工 二 (Li Le ,…,L。) 中 按照 某 些 规则 自 适 应 地 选择 出 一 种 局 部 搜索 
策略 ,并 采用 该 局 部 搜索 策略 对 个 体 进 行 局 部 改进 。 除 此 以 外 ,一 些 动 态 MA 也 考虑 了 
对 邻 域 半 径 移动 步 长 等 局 部 搜索 参数 的 自 适应 调节 中 。 


生成 初始 种 群 P” 
和 参数 5° 


满足 算法 是 
结束 条 件 ? 
a 
Th AB PA 


从 工 中 选择 出 一 种 
局 部 搜索 策略 L; 


结束 
返回 最 优 解 


O*1=G(PM) 利 用 
生成 函数 生成 新 群体 


图 9.2 动态 多 局 部 搜索 的 MA 的 流程 图 


现 有 的 动态 MA 主要 包括 Ong 和 Keane 提出 的 带 Meta-Lamarckian 学 习 机 制 的 
MA ,Cowling 等 中 提出 的 超 启发 式 (hyperheuristic)MA, 以 及 Smith 等 52234072 提 出 的 协同 
进化 (coevolving)MA。 针 对 已 有 的 各 种 动态 MA 算法 ,Ong 等 " 引 提 出 了 一 种 分 类 方案 。 
该 分 类 方案 按照 动态 调整 的 类 型 把 动态 MA 划分 为 静态 .适应 和 目 适 应 三 类 

(1) MEW (static): 算法 并 没有 采用 任何 在 执行 过 程 中 在 线 获 得 的 反馈 信息 来 调节 


SO ”Memetic 算 法 


局 部 搜索 设置 ,而 只 采用 了 预先 定义 好 的 规则 来 调整 局 部 搜索 设置 。 在 这 种 情况 下 ,对 局 
部 搜索 设置 的 调整 规则 往往 也 只 能 依靠 算法 设计 者 的 先 验 知 识 来 设 定 。 因 此 ,这 种 类 型 
的 动态 MA 实质 上 已 经 退化 为 静态 的 MA。 

(2) 适应 型 (adaptive) : 算法 利用 了 在 执行 过 程 中 在 线 获得 的 反馈 信息 来 调节 局 
部 搜索 设置 ,其 中 又 可 以 划分 为 定性 (qualitative) 调 世 和 和 定量 (quantitative) 调 
PAF. 

(3) 自 适 应 型 (self-adaptive) : 算法 把 局 部 搜索 设置 的 相关 信息 也 编码 到 个 体 中 , 伴 
随 着 算法 的 执行 ,局 部 搜索 设置 也 将 不 断 得 到 进化 。 因 此 , 目 适 应 的 动态 MA 有 时 也 被 
称 为 协同 进化 的 MA。 

按照 动态 调整 的 日 适应 层次 ,也 可 以 把 动态 MA 划分 为 外 部 .局 部 和 全 局 三 类 : 

(1) 外 部 型 (external) : 算法 只 采用 了 外 部 的 先 验 知 识 来 调整 局 部 搜索 设置 ,而 没有 
采用 算法 执行 过 程 在 线 获得 的 反馈 信息 。 外 部 的 MA 一 般 都 属于 静态 MA. 

(2) 局 部 型 (local) : 算法 仅仅 采用 了 局 部 搜索 过 程 中 获取 的 部 分 反馈 信息 来 调整 局 
部 搜索 设置 。 

(3) 全 局 型 (global) : 算法 采用 了 搜索 过 程 中 的 全 部 反馈 信息 来 调整 局 部 搜索 设置 。 

接 下 来 ,本 市 将 重点 介绍 市 Meta-Lamarckian 学 习 机 制 的 MA、 超 局 发 式 MA 和 协 


同 进化 MA 这 三 种 主要 的 动态 MA 算法 ,并 按照 上 述 分 类 方式 对 这 些 动 态 MA 进行 


94.2 Meta-Lamarckian 学 习 型 MA 


在 文献 | 37j] 中 ,Ong 和 Keane 提出 了 Meta-Lamarckian 学 习 的 概念 。 如 果 一 个 MA 
在 每 次 执行 局 部 搜索 之 前 ,都 先 从 局 部 搜索 策略 池 中 选择 出 一 种 局 部 搜索 方法 ,并 采用 
Lamarckian 方式 执行 该 局 部 搜索 , 则 称 这 种 MA 为 带 Meta-Lamarckian 学 习 的 MA, 
Ong 和 Keane? iit T = FRA, Meta-Lamarckian 学 习 的 MA: 基本 Meta-Lamarckian 学 
习 方 案子 问题 分 解 的 启发 式 搜索 方案 以 及 带 偏 问 性 轮 盘 赌 的 随机 搜索 方案 。 

1. 基本 Meta-Lamarckian 学 习 方案 

基本 Meta-Lamarckian 学 习 方 案 采 用 了 一 种 简单 的 随机 游 走 方案 来 选择 局 部 搜索 策 
略 。 在 这 种 方案 下 ,算法 每 次 执行 局 部 搜索 之 前 都 从 局 部 搜索 策略 池 中 随机 地 选择 一 种 
局 部 搜索 方法 。 显 然 ,这 种 方案 并 没有 借鉴 任何 在 搜索 过 程 中 在 线 得 到 的 反馈 信息 ,因此 
属于 表态、 外 部 型 的 MA。 

2. 子 问题 分 解 的 启发 式 搜索 方案 

子 问题 分 解 的 启发 式 搜 索 方 案 的 Meta-Lamarckian 学 习 方 式 如 图 9. 3(a) 所 示 。 在 
MA 的 最 初 前 g 次 迭代 中 (g 是 一 个 预先 设 定 的 参数 ) ,算法 仍然 采用 随机 游 走 的 方式 来 
选择 局 部 搜索 策略 。 随 后 ,算法 在 每 次 执行 局 部 搜索 之 前 ,首先 从 局 部 搜索 初始 点 的 邻 域 
中 寻找 & 个 曾经 搜索 过 的 点 (例如 ,可 以 选择 离 局 部 搜索 初始 点 的 欧 几 里 德 距 离 最 近 的 帮 
个 曾经 搜索 过 的 点 ) ,统计 在 这 个 点 上 曾经 使 用 过 的 局 部 搜索 策略 所 对 应 的 适应 值 。 最 
后 ,算法 将 采用 在 该 邻 域内 具有 最 大 平均 适应 值 的 局 部 搜索 策略 。 
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统计 局 部 搜索 初始 点 的 邻 域 中 的 历 


id ,来 用 在 该 久 LL pe 
et ha eestor hes 执行 了 局 部 搜索 后 ,根据 局 部 
w 


搜索 取得 的 适应 值 改进 情况 调 
整 局 部 搜索 的 被 选择 概率 


A 局 部 搜索 8 


初始 时 ， 各 种 局 部 搜索 策 ”随后 ,各 种 局 部 搜索 策略 
略 具 有 相同 的 被 选择 概率 “具有 不 同 的 被 选择 概率 


(a) 子 问题 分 解 的 启发 式 搜索 方案 (b) 再 俩 同性 轮 盘 赌 的 随机 搜索 方案 
图 9.3 两 种 在 线 调节 局 部 搜索 策略 的 Meta-Lamarckian 学 习 机 制 237 


这 种 策略 侍 鉴 了 历史 信息 来 在 线 调 节 局 部 搜索 设置 ,因此 属于 适应 型 的 动态 MA, 
男 一 方面 ,这 种 策略 只 采用 了 邻 域内 的 历史 信息 ,而 不 是 采用 全 局 历史 信息 ,因此 属于 局 
部 型 的 动态 MA。 

3. 市 偏向 性 轮 盘 赌 的 随机 搜索 方案 

市 偏 癌 性 轮 盘 赌 的 随机 搜索 方案 的 Meta-Lamarckian 学 习 方式 如 图 9.3(b) 所 示 。 
这 种 MA 采用 了 轮 盘 赌 机 制 来 选择 局 部 搜索 策略 。 在 算法 开始 时 ,各 种 局 部 搜索 策略 被 
选择 的 概率 是 相同 的 。 算 法 首先 按照 随机 给 定 的 次 序 把 每 一 种 局 部 搜索 策略 都 执行 一 
次 ,并 根据 各 种 局 部 搜索 策略 所 市 来 的 适应 值 改进 幅度 来 调节 局 部 搜索 被 选择 的 概率 。 
随后 ,算法 在 每 次 执行 局 部 搜索 之 前 都 采用 轮 盘 赌 方式 选择 一 种 局 部 搜索 策略 ,并 在 局 部 
搜索 执行 完毕 后 更 新 该 局 部 搜索 策略 被 选择 的 概率 。 文 献 L8] 也 采用 了 类 似 的 机 制 来 选 
择 局 部 搜索 策略 。 

与 子 问 题 分 解 的 启发 式 搜 索 方 案 类 似 ,市 偏 回 性 轮 盘 赌 的 随机 搜索 方案 也 属于 适应 
型 的 动态 MA。 由 于 审 偶 回 性 轮 盘 赌 的 随机 搜索 方案 采用 了 全 局 的 历史 信息 而 非 局 部 信 
息 , 因 此 它 还 属于 全 局 型 的 动态 MA, 


9.43 超 启 发 式 MA 


传统 的 MA 往往 利用 了 与 待 解 问题 或 搜索 区 域 相关 的 局 发 式 方法 (heuristic) 来 进行 
局 部 搜索 。 由 于 这 些 启发 式 问 题 是 相关 的 ,为 了 提高 算法 的 健壮 性 ,Cowling 45% 提出 
了 超 启 发 式 (hyperheuristic) 的 概念 ,利用 与 问题 无 关 的 “ 超 局 发 式 ” 自 动 地 选择 合适 的 局 
发 式 来 进行 局 部 搜索 。Cowling 等 把 “ 超 局 发 式 ” 分 为 三 类 , 即 随机 超 启发 式 、 贪 心 超 启发 
式 和 基于 选择 男 数 的 超 司 发 式 。 

1. 随机 超 启发 式 吕 9098 

随机 超 启 发 式 包 括 Simplerandom, Randomdescent 和 Randompermdescent 三 种 。 


SOS ”Memetic 算 法 


Simplerandom 方式 与 基本 Meta-Lamarckian 学 习 方 案 相 类 似 , 该 方式 完全 随机 地 选择 局 
部 搜索 策略 ,并 且 各 种 局 部 搜索 策略 的 被 选择 概率 保持 不 变 。 因 此 ,Simplerandom 属于 
静态 、 外 部 型 的 MA. Randomdescent 方式 初始 时 也 完全 随机 地 选择 局 部 搜索 策略 ,当选 
择 了 一 种 局 部 搜索 策略 后 ,Randomdescent 将 一 直 采 用 该 局 部 搜索 策略 ,直到 该 局 部 搜索 不 
能 取得 适应 值 更 好 的 改进 解 为 止 。Randompermdescent 方式 与 Randomdescent 方式 类 似 , 只 
是 初始 化 时 并 不 是 随机 地 选择 局 部 搜索 策略 ,而 是 先 随 机 地 生成 一 个 局 部 搜索 策略 序列 , 按 
照 该 序列 给 定 的 顺序 来 选择 局 部 搜索 。Randomdescent 和 Randompermdescent 都 属于 适应 、 
局 部 型 的 MA。 

2. 贪心 超 启 发 式 " 3 

贪心 超 启发 式 把 所 有 的 局 部 搜索 策略 都 作用 到 局 部 搜索 的 初始 点 上 ,然后 选择 能 够 
获取 最 大 改进 幅度 的 局 部 搜索 策略 。 显 然 , 这 种 方式 将 导致 巨大 的 计算 量 。 贪 心 超 启 发 
式 也 是 属于 适应 、 局 部 型 的 MA。 

3. 基于 选择 函数 的 超 启发 式 吕 538 

在 基于 选择 了 苑 数 的 超 局 发 式 的 MA 中 ,每 次 选择 局 部 搜索 策略 前 ,算法 都 计算 每 
种 局 部 搜索 策略 的 选择 孔 数 下。 下 由 三 个 部 分 构成 ,包括 该 局 部 搜索 策略 最 近 取 得 的 
改进 幅度 ,该 局 部 搜索 策略 与 其 他 局 部 搜索 策略 连续 应 用 时 能 够 取得 的 改进 幅度 ,以 
及 距离 上 一 次 使 用 该 局 部 搜索 策略 的 时 间 长 短 。 在 评价 了 各 种 局 部 搜索 策略 的 选择 
图 数 后 ,算法 将 直接 选择 具有 最 大 选择 男 数 值 的 局 部 搜索 策略 ( 称 为 Straightchoice) ,或 
者 采用 选择 男 数 值 最 高 的 右 干 个 局 部 搜索 策略 ( 称 为 Rankchoice) ,或 者 按照 轮 盘 赌 方 
式 选择 局 部 搜索 策略 ( 称 为 Roulettechoice) 。 基 于 选择 函数 的 超 局 发 式 属于 适应 \、 全 局 
型 的 MA。 


94.4 协同 进化 MA 


在 人 类 的 进化 历史 中 ,生物 进化 与 文化 进化 相互 联系 ,相互 影响 ,是 一 个 协同 进化 的 
过 程 。 受 此 启发 ,在 文献 [13]、[17]、[39]、[40] 中 ,不 仅 候 选 解 被 编码 到 个 体 的 基因 中 ,局 
部 搜索 的 相关 设置 也 被 编码 到 个 体 的 文化 基因 (meme) 中 ,基因 与 文化 基因 一 起 在 算法 执 
行 过 程 中 协同 进化 ,这 种 类 型 的 MA 就 称 为 协同 进化 (coevolving) 的 MA。Krasnogor 和 
Gustafson] 也 把 这 类 算法 称 为 自生 的 (selfgenerating) 的 MA. 

协同 进化 MA 的 流程 图 如 图 9.4 所 示 。 算 法 首先 需要 把 各 种 局 部 搜索 设置 (包括 局 
部 搜索 策略 、 局 部 搜索 的 执行 方式 以 及 局 部 搜索 深度 、 频 率 、 邻 域 大 小 等 各 种 参数 ) 编 码 成 
文化 基因 。 这 样 ,每 个 个 体 不 仅 具 有 代表 候选 解 的 基因 ,还 具有 代表 局 部 搜索 设置 的 文化 
基因 。 在 每 次 迭代 中 ,算法 不 仅 通 过 选择 、 交 又 和 变异 算 子 来 进化 各 个 个 体 的 基因 ,还 利 
用 这 些 进化 操作 来 进化 各 个 个 体 的 文化 基因 。 最 后 ,每 个 个 体 都 按照 它 的 文化 基因 所 代 
表 的 局 部 搜索 方式 对 其 基因 进行 局 部 改进 (注意 ,图 9.4 中 的 流程 图 参考 了 文献 L13] 给 出 
T 3 种 不 同 的 选择 方式 , 即 直 接 保留 上 一 代 的 文化 基因 、 根 据 文 化 基因 的 适应 值 采 用 轮 盘 
赠 方 式 选择 文化 基因 ,或 随机 地 选择 文化 基因 ) 。 

除了 上 述 提 到 的 动态 MA 外 ,文献 L41j 一 文献 L43] 也 分 别提 出 了 不 同 的 动态 MA 算 
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操作 ， 得 到 下 一 代 群 体 直接 选择 上 一 按照 文化 基因 
代 的 文化 基因 的 适应 值 选 择 
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进行 进化 操作 
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化 基因 所 表示 的 局 部 搜 | \ 
索 方式 来 进行 局 部 搜索 


k=k+1 


图 9.4 协同 进化 MA 的 流程 图 


法 。 按 照 9.4. 1 节 介 绍 的 分 类 方式 5055 ,上 述 动 态 MA 的 分 类 如 表 9. 2 所 示 。 
表 9.2 动态 MA 的 分 类 


T EEC 


基本 Meta-Lamarckian 学 


外 部 871, Simplerandom" , 
(external) | 多 局 部 搜索 (multi-local- 


search) MA] 
局 部 子 问题 分 解 的 局 BRIG RS ,贪心 | 协同 进化 MALU (或 
dice #8 启 发 xR", Randomdescent', | 自生 MA“ ), 自 适 
Randompermdescent'""! , 应 MA42] 
带 偏向 性 轮 盘 财 的 随机 搜索 c , 基 
全 局 于 PSO 的 MA ,基于 选择 函数 的 
(global) 超 启 Fe ROCCE] , 快速 适应 MA 


(fast adaptive MA) 
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9.5 Memetic 算法 的 理论 与 应 用 研究 展望 


1. MA 的 理论 研究 进展 

在 Memetic 算法 的 理论 研究 领域 ,为 了 系统 地 分 析 现 有 的 MA, Krasnogor 和 
Smitht 叫 提出 了 一 种 语法 框架 来 描述 MA。 该 语法 框架 的 九 种 基本 要 素 已 经 在 9. 2 节 中 
给 出 。 根 据 该 语法 框架 ,任意 一 种 MA 都 可 以 由 这 些 基 本 要 素 以 及 相关 的 语法 关系 表示 
出 来 ,并 可 以 实现 对 MA 的 分 类 。 该 语法 框架 为 分 析 各 种 MA 的 特性 提供 了 依据 。 

针对 动态 的 MA, Ong 等 中 以 传统 遗传 算法 的 收敛 性 为 基础 ,利用 马尔 可 夫 链 理论 
进一步 证 明了 外 部 、 局 部 和 全 局 三 类 适应 型 的 动态 MA 的 收敛 特性 ,并 结合 实验 分 析 ,发 
现 全 局 、 适 应 型 的 动态 MA 往往 能 够 取得 较 好 的 性 能 。 

除了 上 述 理论 分 析 以 外 ,Ong 等 55 指出 目前 对 MA 的 搜索 行为 .性 能 和 收敛 性 的 相 
关 理 论 分 析 还 基本 处 于 空白 状态 。 从 理论 上 更 深入 地 分 析 MA 的 搜索 机 制 ,将 有 助 于 提 
出 更 高 效 的 MA, 是 MA 领域 的 一 个 重要 研究 分 支 。 

2. MA 的 应 用 研究 进展 

MA 能 够 把 进化 算法 和 局 部 搜索 算法 的 全 局 与 局 部 搜索 能 力 结合 起 来 ,在 解决 复杂 、 
大 规模 问题 时 具有 明显 的 优势 。MA 目前 已 经 广泛 地 应 用 于 连续 空间 和 离散 空间 领域 的 
各 类 优化 问题 之 中 ,具有 广阔 的 应 用 前 景 。 例 如 ,在 连续 空间 的 优化 问题 领域 ,文献 L28]、 
L29」L35」L37j 等 提出 的 MA 在 求解 连续 男 数 优化 问题 时 取得 了 民 好 的 性 能 ;在 离散 空 
间 的 优化 问题 领域 ,MA BP HI ZE te IT HATS 、 二 次 分 配 (Cquadratic assignment 
problem)” , 4224 5 77 4°") All it 4 [al J) RE (flowshop scheduling problem) 等 组 合 优化 问 
题 上 成 功 应 用 ,其 中 文献 L19j 还 在 含有 百 万 个 以 上 城市 的 TSP 实例 中 发 现 了 比 已 知 最 优 
解 更 短 的 路 径 。 除 此 以 外 ,MA 成 功 地 应 用 在 蛋白 质 结 构 预 测 ”5 、 蜂 窝 移 动 网 络 的 蜂 格 
HHA 、 机 场 停机 位 分 配 '"5 、 集 装 箱 配 装 2 、 超 大 规模 集成 电路 布线 555 、 永 磁 同 步 电 动 
机 控制 :和 1、 癌症 的 化 疗 方 案 设 计 ' 针 和 波 分 多 路 复 用 (wavelength division multiplexing) 
网 络 中 的 共享 通道 保护 算法 设计 5 等 实际 优化 问题 之 中 。 

如 何 进 一 步 拓展 MA 的 应 用 领域 ,在 更 多 实际 应 用 中 发 挥 MA 的 特有 优势 ,一 直 是 
MA 领域 的 研究 热点 。 

3. MA 的 发 展 趋 势 

由 于 MA 在 局 部 搜索 与 全 局 搜索 相 结 合 的 过 程 中 存在 着 大 量 的 选择 方案 和 参数 设 
置 , 如 何 避 人 免 对 人 为 先 验 知识 的 依赖 ,增强 算法 的 普 适 性 和 和 鲁 棱 性 ,并 尝试 把 MA 应 用 到 
更 复杂 的 问题 之 中 ,是 目前 MA 发 展 的 主要 趋势 。 近 年 来 出 现 的 较 具 影响 力 的 MA 发 展 
方 问 包括 以 下 几 项 。 

(1) 目 适 应 和 协同 进化 的 MA 

在 9.4.4 节 已 经 提 到 ,通过 把 局 部 搜索 设置 也 编码 到 文化 基因 (meme) 中 ,协同 进化 
MA 可 以 实现 对 代表 候选 解 的 基因 和 代表 局 部 搜索 设置 的 文化 基因 的 共同 进化 ,从 而 避 
免 了 对 局 部 搜索 方式 的 人 为 设 定 ,增强 了 MA 的 健壮 性 。 如 何 从 理论 上 分 析 协 同 进化 
MA 的 搜索 行为 和 收敛 特性 ,从 算法 设计 的 角度 完善 协同 进化 的 方式 ,仍然 有 竺 进一步 的 
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RRON, 

(2) 多 目标 MA 

求解 多 目标 优化 问题 的 MA 近年 来 已 经 逐渐 成 为 MA 领域 的 研究 热点 之 一 。 
文献 [18]、[46]、[47] 提 出 的 多 目标 MA 算法 ,已 经 初步 取得 了 较 好 的 性 能 。 多 目标 优化 
问题 要 求 算法 能 够 发 现 问 题 的 帕 累 托 前 沿 解 集 , 而 非 单 个 最 优 解 。 因 此 ,多 目标 优化 往往 
要 求 算法 能 够 保持 足够 的 搜索 多 样 性 ,这 进一步 增 大 了 维持 MA 中 局 部 搜索 与 全 局 搜索 
的 平衡 的 难度 " 引 。 如 何 维 持 局 部 搜索 和 全 局 搜索 的 平衡 ,如 何 设 计 适 用 于 多 目标 优化 的 
自 适 应 方案 ,都 将 是 多 目标 MA 研究 领域 值得 关注 的 问题 。 

(3) 基于 智能 体 (agent-based) 的 MA 

多 智能 体系 统 (multi-agent system) 是 指 由 多 个 相互 影响 的 智能 体 所 构成 的 系统 ,各 
个 智能 体 分 别 具 有 自治 、 局 部 认 知 、 全 局 认 知 等 特性 。 利 用 多 智能 体系 统 和 元 启发 式 
(meta-heuristic) 算 法 之 间 的 相似 性 , Milano 和 Roli’ 提出 了 元 启发 式 算 法 的 多 智能 体 
体系 结构 。GA、ACO、PSO 以 及 MA 都 属于 典型 的 元 局 发 式 算法 。 因 此 ,通过 把 群体 看 
成 是 多 个 智能 体 的 集合 ,把 多 智能 体系 统 的 特性 引入 MA. Ullah 等 (外 提出 了 基于 智能 体 
的 MA, 并 发 现 多 智能 体 的 特性 将 有 助 于 进一步 提高 MA 的 性 能 。 基 于 智能 体 的 MA H 
前 还 是 一 个 刚刚 起 步 的 研究 领域 ,2009 年 的 IEEE 进化 计算 国际 会 议 (CEC2009) 将 有 一 
个 独立 的 专题 探讨 基于 智能 体 的 MA, 
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1. 请 指出 Memetic 算法 的 基本 思想 来 源 。 

2. Memetic 算法 与 遗传 算法 、 蚁 群 优 化 ,粒子 群 优化 等 基于 群体 的 计算 智能 方法 相 
比 ,最 根本 的 区 别 是 什么 ”这 些 区 别 将 带 来 什么 好 处 ? 

3. 什么 是 静态 的 Memetic 算法 ? 什么 是 动态 的 Memetic 算法 ? 两 者 的 区 别 是 什么 ? 
与 静态 的 Memetic 算法 相 比 ,动态 的 Memetic 算法 有 什么 优势 ? 

4. 试 述 Meta-Lamarckian 学 习 型 Memetic 算法 、 超 启发 式 Memetic 算法 和 协同 进化 
Memetic 算法 。 它 们 分 别 属于 哪 一 类 型 的 Memetic 算法 ? 

5. 试 述 Memetic 算法 的 发 展 趋势 和 应 用 前 景 。 

6. 2-opt 是 在 求解 TSP 问题 时 一 个 常用 的 局 部 搜索 策略 。 通 过 查阅 相关 的 参考 文 
献 , 了 解 该 局 部 搜索 策略 ,并 上 机 编写 完整 的 程序 ,实现 以 下 的 两 个 算法 : 

(1) Lamarckian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结合 的 求解 TSP 的 
Memetic 算法 ; 

(2) Baldwinian 模式 的 蚁 群 算法 与 2-opt 局 部 搜索 方法 相 结 合 的 求解 TSP 的 
Memetic 算法 。 

在 实现 过 程 中 ,Lamarckian 模式 和 Baldwinian 模式 的 区 别 是 什么 ? 观察 上 述 两 个 算 
法 的 上 机 实验 结果 ,在 一 般 情 况 下 ,哪个 算法 的 性 能 更 优 ? 为 什么 ? 
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模拟 退火 与 蔡 忌 搜索 


在 物理 学 实验 中 ,对 固 
体 进行 加 热 ,让 其 在 高 温 
状态 下 熔 解 。 


在 高 温 状 态 下 ， 固 体内 部 的 粒子 以 相同 
的 概率 处 于 任何 一 种 状态 。 缓 慢 退 火 ， 让 物 
体 徐徐 冷却 ， 最 终 稳定 在 一 个 最 优 的 状态 。 
固体 在 高 温 状 态 下 通过 退火 冷却 到 低温 状态 ,最 
终 稳定 在 一 个 最 佳 状态 ,这 本身 是 一 个 优化 的 过 程 。 
我 们 能 否 借 鉴 固体 物理 退火 的 过 程 ,设计 一 种 最 优 
化 算法 呢 ? 


模拟 退火 (Simulated Annealing,SA) 算 法 就 是 从 物理 退火 


过 程 得 到 启发 ， 从 而 设计 出 来 的 最 优化 方法 。 


模仿 人 类 的 记忆 能 力 ， 
计算 机 科学 家 设计 了 禁忌 
搜索 (Tabu Search,TS) 算 法 。 


f 


人 在 日 前 活动 中 , 总 是 会 对 曾经 做 过 的 事 

衣 有 所 记忆 。 这 种 记忆 特性 能 避免 重复 做 一 些 

首 误 的 事情 。 例 如 在 一 个 三 岔路 口 ， 左 边 的 路 

已 经 走 过 并 且 确 定 不 能 到 达 目 的 地 ， 那 么 在 这 
次 选择 中 就 会 避免 重复 走 这 条 错误 的 路 线 。 
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计算 智能 

在 前 面 的 章节 中 ,通过 对 神经 网 络 .模糊 逻辑 和 进化 计算 这 三 个 计算 智能 中 的 主要 研 
究 领 域 进 行 学 习 , 相 信 读 者 已 经 对 计算 智能 方法 有 了 比较 深入 的 认识 和 理解 。 在 本 章 中 ， 
我 们 将 介绍 另外 两 种 算法 ,分别 是 模拟 退火 算法 和 禁忌 搜索 算法 。 这 两 种 算法 也 是 属于 
计算 智能 的 分 文 , 但 是 它们 和 进化 计算 中 的 算法 有 个 明显 的 不 同 之 处 在 于 ,进化 计算 是 基 
于 群体 搜索 的 ,但 是 模拟 退火 算法 和 禁忌 搜索 算法 都 是 属于 单 点 搜索 算法 ,鉴于 此 ,我们 
将 在 本 草 对 这 两 种 算法 进行 介绍 。 

和 前 面 介 绍 的 算法 类 似 , 我 们 将 从 算法 的 思想 、 基 本 流程 对 算法 进行 一 个 简要 的 介 
绍 ,然后 通过 一 个 例子 对 算法 的 使 用 进行 说 明 。 本 和 草 的 主要 内 容 包括 : 

。 模拟 退火 算法 
避 算 法 思想 
了 基本 流程 
和 应 用 举例 
ws FE AS 
ws FEAR iit Fe 
zs Mi FAS Bil 


10.1 模拟 退火 算法 
10.1.1 算法 思想 


模拟 退火 (Simulated Annealing, SA) 算 法 的 基本 思想 , 早 在 1953 年 就 已 经 由 
Metropolis 提出 所 。 不 过 直到 1983 年 ,Kirkpatrick 等 人 才 真 正成 功 地 将 模拟 退火 算法 
应 用 到 求解 组 合 优化 问题 上 呈 ,模拟 退火 算法 才 逐 渐 为 人 们 所 接受 ,并且 成 为 一 种 有 效 的 
优化 算法 ,在 很 多 工程 和 科学 领域 得 到 广泛 的 应 用 "*"]。 

模拟 退火 算法 的 思想 来 源 于 物理 退火 原理 ,如 图 10. 1 所 示 。 在 热力 学 和 统计 物理 学 
的 研究 中 ,物理 退火 过 程 是 首先 将 固体 加 温 至 温度 充分 高 ,再 让 其 徐徐 冷却 。 加 温 时 , 固 
体内 部 粒子 随 大 温度 的 升 高 而 变 为 无 序 状态 ,内 能 增 大 ,而 徐徐 冷却 时 粒子 渐 趋 上 有 序 , 如 
果 降 温 速 度 足 够 慢 , 那 么 在 每 个 温度 下 ,粒子 都 可 以 达到 一 个 平衡 态 , 最 后 在 常温 时 达到 


开始 状态 


图 10.1 固体 从 高 温 状 态 退 火 冷却 到 低温 状态 过 程 示意 图 
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基态 ,内 能 减 为 最 小 。 男 一 方面 ,粒子 在 某 个 温度 工时 ,固体 所 处 的 状态 具有 一 定 的 随机 
性 ,而 这 些 状态 之 间 的 转换 能 否 实现 由 Metropolis 准则 决定 。 

Metropolis 准则 定义 了 物体 在 某 一 温度 荆 下 从 状态 i 转移 到 状态 7 的 概率 Pi ,如 公 
式 (10. 1) 所 示 。 

l, EG) < EG) 
an | cage =e (RT), 其 他 

其 中 @ 为 自然 对 数 ,E(i) 和 EO) 分 别 表示 固体 在 状态 i 和 ;下 的 内 能 ,AE==E(j) 一 
E(i) ,表示 内 能 的 增 量 ,K EVR AR ZK & (Boltzmann) % RL. 

从 Metropolis 准则 可 以 看 到 ,在 某 个 温度 荆 下 ,系统 处 于 某 种 状态 ,由 于 粒子 的 运动 , 系 
统 的 状态 会 发 生变 化 ,并 且 叶 致 系统 能 量 的 变化 。 如 采 变 化 是 贿 辱 减少 系统 能 量 的 方 回 进 
行 的 ,那么 就 接受 该 变化 ,否则 以 一 定 的 概率 接受 这 种 变化 。 男 一 方面 ,从 已 的 公式 可 以 看 
到 ,在 同一 温度 下 ,导致 能 量 增加 的 增加 量 AE==E(j) 一 E(i) 越 大 ,接受 的 概率 越 小 ;而 且 随 
着 温度 工 的 降低 ,接受 系统 能 量 增 大 的 变化 的 概率 将 会 越 小 ,图 10. 2 表示 的 是 当 KK 取 1,T 
分 别 取 3 和 2 AWE ee. PCT) Be AE 的 变化 而 变化 的 曲线 。 由 图 10.2 可 见 , 随 着 温度 的 降低 ， 
能 量 增加 的 状态 将 变 得 更 难 被 接受 。 当 温度 趋 于 0 时 ,系统 接受 其 他 使 得 能 量 增加 的 状态 
的 概率 趋 于 0, 所 以 系统 最 终 将 以 概率 1 处 于 一 个 具有 最 小 能 量 的 状态 。 


1.0 


(10. 1) 


图 10.2 温度 分 别 为 3 和 2 时 Metropolis 接受 概率 与 能 量 增 量 的 关系 示意 图 


模拟 退火 算法 在 优化 问题 的 时 候 ,采用 的 就 是 类 似 于 物理 退火 让 固体 内 部 粒子 收敛 
到 一 个 能 量 最 低 状 态 的 过 程 ,实现 算法 最 终 收敛 到 最 优 解 的 目的 。 表 10. 1 给 出 了 模拟 退 
火 算 法 和 物理 退火 过 程 相关 概念 的 类 比 关 系 。 

算法 首先 会 生成 问题 解 空 间 上 的 一 个 随机 解 ,然后 对 其 进行 扰动 ,模拟 固体 内 部 粒子 
在 一 定 温度 下 的 状态 转移 。 算 法 对 扰动 后 得 到 的 解 进 行 评估 ,将 其 与 当前 解 进 行 比 较 并 
且 根 据 Metropolis 准则 进行 蔡 换 。 算 法 会 在 同一 温度 下 进行 多 次 扰动 ,以 模拟 固体 内 部 
的 多 种 能 量 状 态 。 另 外 ,模拟 退火 算法 还 通过 上 自身 参数 的 变化 来 模仿 温度 下 降 的 过 程 。 
算法 参数 工 代 表 温 度 ,每 一 代 逐 渐变 小 。 在 每 一 代 中 ,算法 根据 当前 温度 下 的 Metropolis 
转移 准则 对 解 进行 扰动 。 这 样 的 操作 在 不 同 的 温度 下 不 断 地 重复 ,直到 温度 降低 到 某 个 指 
定 的 值 。 这 时 候 得 到 的 解 将 作为 最 终 解 , 相 当 于 固体 的 能 量 最 低 状态 。 
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表 10.1 物理 退火 过 程 和 模拟 退火 算法 的 基本 概念 对 照 表 


物理 退火 过 程 


物体 内 部 的 状态 
状态 的 能 量 
温度 

Kes FR aL FB 

退火 冷却 过 程 
状态 的 转移 
能 量 最 低 状 态 


10.1.2 基本 流程 
模拟 退火 算法 在 求解 最 优化 问题 的 时 候 , 算 法 的 基本 流程 图 和 伪 代 码 如 图 10. 3 所 示 。 


初始 化 : 随机 选择 一 个 解 i, 计算 适应 值 f(?)。 


设置 代数 三 0, 初 始 温 度 toT, S RRE s =i 


满足 终止 条 件 ? 
否 


是 


在 温度 下 达到 平衡 ? 


从 的 邻 域 中 随机 选择 一 个 解 .j, 
计算 j 的 适应 值 /(/) 


计算 接受 概率 P(g) 10" 


random(0,1)<P(t,) 
i 
i= j; f OSSU); E s 


降温 冷却 : t..,=drop(t,); S k=k+1 


模拟 退火 算法 
问题 的 解 空 间 ( 所 有 可 行 解 ) 
解 的 质量 (适应 度 函 数值 ) 
控制 参数 
设 定 初 始 温度 
控制 参数 的 修改 (温度 参数 的 下 降 ) 
解 在 邻 域 中 的 变化 
最 优 解 


// 功 能 : 模拟 退火 算法 伪 代 码 
// 说 明 : 本 例 以 求 问 题 最 小 值 为 目标 
// 参 数 ; 7 为 初始 温度 ; 工 为 内 层 循环 次 数 


procedure SA 
//Initialization 
Randomly generate a solution %, and 


calculate its fitness value f(X%); 
Moest= Xz K-O; t=T; 
while not stop 
//The search loop under the temperature tr 
for i=1 to L // The loop times 
Generate a new solution Xe, based on 
the current solution XX, and calculate 
its fitness value f(X). 
if f (Xs) < £ (Xz) 
Xic= Xnew 7 
iff (X; )< £ (Mest ) Koest= Xr; 
continues; 
end if 
CalculateP(t,)=e ft u/i] ; 
if random(0,1)< P 
X= Xnew? 
end if 
end for 
//Drop down the temperature 
te= drop (tr); k= kt 1; 
end while 
print Xest 
end procedure 


10.3 模拟 退火 算法 的 流程 图 和 伪 代 码 
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图 10. 3 给 出 的 是 模拟 退火 算法 的 基本 框架 ,针对 具体 问题 时 还 需要 具体 的 设计 。 从 
流程 图 中 可 以 看 到 模拟 退火 具有 两 层 循环 ,内 循环 模拟 的 是 在 给 定 的 温度 下 系统 达到 热 
平衡 的 过 程 。 在 该 循环 中 ,每 次 都 从 当前 解 i 的 邻 域 中 随机 找 出 一 个 新 解 7 ,然后 按照 
Metropolis 准则 概率 地 接受 新 解 。 算 法 中 的 random(0,1) 是 指 在 区 间 [L0,1] 上 按 均 匀 分 
布 产 生 一 个 随机 数 , 而 有 所谓 的 内 层 达 到 热平衡 也 是 一 个 笼统 的 说 法 ,可 以 定义 为 循环 一 定 
的 代数 ,或 者 基于 接受 率 定义 平衡 等 。 算 法 的 外 层 循环 是 一 个 降温 的 过 程 , 当 在 一 个 温度 
下 达到 平衡 后 ,开始 外 层 的 降温 ,然后 在 新 的 温度 下 重新 开始 内 循环 。 降温 的 方法 可 以 根 
据 具 体 问 题 具体 设计 ,而 且 算 法 流程 图 中 给 出 的 初始 温度 T 也 需要 算法 的 使 用 者 根据 具 
体 的 问题 而 制定 。 

从 图 10. 3 给 出 的 流程 图 和 伪 代 码 可 以 看 到 ,模拟 退火 算法 在 求解 最 优化 问题 的 时 
候 ,涉及 以 下 几 个 方面 的 基本 要 素 。 

1. 初始 温度 

初始 温度 to 的 设置 是 影响 模拟 退火 算法 全 局 搜索 性 能 的 重要 因素 之 一 所 。 实 验 表 
明 , 初 温 越 大 ,获得 高 质量 解 的 几率 越 大 ,但 花费 的 计算 时 间 将 越 多 。 因 此 , 初 温 的 确定 应 
折 囊 考虑 优化 质量 和 优化 效率 ,第 用 方法 包括 以 下 几 种 。 

。 均匀 抽样 一 组 状态 ,以 各 状态 目标 值 的 方差 为 初 温 ; 

。 随机 产生 一 组 状态 ,确定 两 两 状态 间 的 最 大 目标 值 差 | Amax| ,然后 依据 差 值 , 利 

用 一 定 的 函数 确定 初 温 。 例 如 ,mm 三 一 Amax/p ,其 中 p, 为 初始 接受 概率 ; 

。 利用 经 验 公 式 给 出 初始 温度 。 

2. Sih es 

RBR KR CIR AS AE RRO DVS FY BE Pa WESA AE AIR ae SPE ahd Hh PD AP B, a A FA PB 
组 成 , 即 产生 候选 解 的 方式 和 候选 解 产 生 的 概率 分 布 。 候 选 解 一 般 采 用 按照 某 一 概率 密度 
函数 对 解 空间 进行 随机 采样 来 获得 。 概 率 分 布 可 以 是 均匀 分 布 、 正 态 分 布 .指数 分 布 等 。 

3. 接受 概率 

指 从 一 个 状态 X; (一 个 可 行 解 ) 回 另 一 个 状态 Xhow( 男 一 个 可 行 解 ) 的 转移 概率 ,通俗 
的 理解 是 接受 一 个 新 解 为 当前 解 的 概率 。 它 与 当前 的 温度 参数 n 有 关 , 随 温度 下 降 而 减 
小 。 一 般 采 用 Metropolis 准则 ,如 前 面 的 公式 (10.1) 所 示 。 

4. 冷却 控制 

指 从 某 一 较 高 温 状态 to 回 较 低温 状态 冷却 时 的 降温 管理 表 ,或 者 说 降温 方式 。 假 设 
时 刻 & 的 温度 用 来 表示 , 则 经 典 模拟 退火 算法 的 降温 方式 为 3]， 


lo 


n= Ig OFE (10. 2) 
而 快速 模拟 退火 算法 的 降温 方式 为 : 
_ bo 
Lk = i+k (10. 3) 
这 两 种 方式 都 能 够 使 得 模拟 退火 算法 收 钱 于 全 局 最 小 点 。 


5 内 层 平 衡 
内 层 平 衡 也 称 Metropolis 抽样 稳定 准则 ,用 于 决定 在 各 温度 下 产生 候选 解 的 数目 。 
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利用 的 抽样 稳定 准则 包括 以 下 几 项 。 


。 检验 目标 函数 的 均值 是 否 稳 定 ; 

。 连续 奉 干 步 的 目标 值 变 化 较 小 ; 

。 预先 设 定 的 抽样 数目 ,内 循环 代数 。 

6. 终止 条 件 

算法 终止 准则 ,和 常用 的 包括 以 下 几 项 。 

。 设置 终止 温度 的 国 值 ; 

。 设置 外 循环 迭代 次 数 ; 

。 算法 搜索 到 的 最 优 值 连续 大 干 步 保 持 不 变 ; 

。 检验 系统 烽 是 否 稳 定 。 

这 些 基 本 要 素 的 意义 和 设 定 方法 如 图 10. 4 所 示 。 


基本 要 素 
影响 模拟 退火 算法 全 局 搜索 性 能 (1) 均匀 抽样 一 组 状态 ， 以 各 状态 目标 值 的 
的 重要 因素 之 一 。 方差 定 初 温 
实验 表明 ， 初 温 越 大 ， 获 得 高 质 KO 初始 温度 [> (2) 随机 产生 一 组 状态 ， 以 两 两 状态 间 最 大 


量 解 的 几率 越 大 ， 但 伦 费 的 计算 差 值 定 初 温 
时 间 将 增加 (3) 利用 经 验 公式 给 出 初 温 


状态 空间 与 状态 产生 函数 。 候选 解 一 和 股 来 用 按照 蘑 一 概率 密度 函数 对 解 
邻 域 函数 (状态 产生 函数 ) 应 尽 全 空间 进行 随机 采样 来 获得 。 


可 能 保证 产生 的 候选 解 遍布 全 概率 分 布 可 以 是 均匀 分 布 、 正 态 分 布 、 指 数 
部 解 空间 分 布 等 


指 从 一 个 状态 XX( 一 个 可 行 解 ) 一 般 采 用 Metropolis ill) 
向 另 一 个 状态 Xew( 另 一 个 可 行 E()S EC) 


9 


l, 
解 ) 的 转移 概率 , 通俗 的 理解 是 pr-d cee _ 其 他 


接受 一 个 新 解 为 当前 解 的 概率 
指 从 某 一 较 高 温 状态 向 较 低 (1) 经 典 模拟 退火 算法 的 降温 方式 Tp 


温 状态 冷却 时 的 降温 管理 表 , 或 | í 
者 说 降温 方式 (2) 快速 模拟 退火 算法 的 降温 方式 15 


内 层 平衡 也 称 Metropolis 抽 样 稳 
定 准则 ,用 于 决定 在 各 温度 下 产 
生 候 选 解 的 数目 


(1) 设置 终止 温度 的 阔 什 
终止 条 Le (2) EMAER 
lll (3) 算法 搜索 到 的 最 优 值 连续 若干 步 保持 不 变 
(4) Ras Fe Fei SE 


图 10.4 模拟 退火 算法 的 基本 要 素 


10.1.3 应 用 举例 
下 面 通 过 一 个 简单 的 0-1 背包 问题 ,说 明 模拟 退火 算法 在 求解 离散 组 合 优化 问题 时 
的 流程 和 算法 步骤 。 


例 10. 1 


已 知 背 包 的 装载 量 为 c 王 8 ,现在 有 n=5 个 物品 ,它们 的 重量 和 价值 分 别 是 


(2,3,5,1,4) 和 (2,5,8,3,6)。 试 使 用 模拟 退火 算法 求解 该 背包 问题 , 写 出 关键 的 步骤 。 
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分 析 : 背包 问题 本 身 是 一 个 组 合 优化 问题 ,也 是 一 个 典型 的 NP 难 问 题 。 如 果 使 用 
枚 举 的 方法 ,我 们 需要 找到 个 物品 的 所 有 子 集 , 然 后 在 那些 满足 约束 条 件 的 子 集中 比较 
物品 的 总 价值 ,找到 总 价值 最 大 的 子 集 , 也 就 是 问题 的 最 优 解 。 但 是 我 们 知道 ,大 小 为 n 
的 集合 的 子 集 数 目 为 2* ,所 以 当 背 包 问 题 的 规模 变 大 (2 变 大 ) 的 时 候 , 要 找 出 所 有 的 子 集 
是 一 个 不 现实 的 做 法 ,因为 计算 复杂 度 的 指数 级 增长 已 经 使 得 问题 在 规模 稍 大 的 时 候 就 
无 法 在 可 以 接受 的 时 间 内 得 到 解决 。 因 此 背包 问题 需要 采用 一 些 计 算 复杂 度 较 低 的 ,但 
是 能 够 提供 令 人 满意 的 解 的 算法 ,而 模拟 退火 算法 是 解决 背包 问题 的 重要 手段 。 大 量 的 
实验 证 明 ,模拟 退火 算法 能 够 处 理 规模 较 大 的 背包 问题 ,而 且 能 够 鲁 棒 地 得 到 满意 的 解 。 

解 : 这 里 假设 问题 的 一 个 可 行 解 用 0 和 1 的 序列 表示 ,例如 i 二 (1010) 表 示 选 择 第 1 
和 第 3 个 物品 ,而 不 选择 第 2 和 第 4 个 物品 。 用 模拟 退火 算法 求解 例 10. 1 的 关键 过 程 如 
图 10.5 所 示 。 


第 二 步 : 在 T 温 度 下 局 部 搜索 ， 直 到 “平衡 *， 假 设 平衡 
条 件 为 执行 了 3 次 内 层 循环 


重量 w=(2, 3, 5, 1,4) 
价值 v=(2, 5, 8, 3, 6) 


一 步 : 初始 化 。 假 设 初 始 解 为 
j=(11001), 初始 温度 为 T=10. i 
算 f(i)=2+5+6=13， 最 优 解 s=i 4 


第 三 步 : 降温 ， 假 设 温度 降 为 
T=9 。 如 果 没 有 达到 结束 标准 ， 
则 返回 第 二 步 继 续 执 行 


(1) 产生 当前 解 的 一 个 邻 域 解 j (如 何 构 抬 邻 域 根据 具体 
的 问题 而 定 , 这 里 假设 为 随机 改变 某 一 位 的 0/1 值 或 者 交 
换 某 两 位 的 0/1 值 )， 假 设 广 (11100) 

要 注意 产生 的 新 解 的 合法 性 ， 要 舍弃 那些 点 重量 超过 背 
包装 载 量 的 非法 解 


(C2)7C)=2+5+8=15>13= 帮 DOD， 所 以 接受 新 解 v 
i=j; f(D ()=15; m H. s=i 
要 注意 求解 的 是 最 大 值 . 因此 适应 值 越 大 越 优 


Ss (3) 返回 (D 继续 执行 

假设 第 二 轮 得 到 的 新 解 产 (11010), 由 于 .7)=2+S+3=10 
<1S=f (i), Pit A a Ba Ae ES P(T)=exp((f(J)-f()/T )= 
exp(—0.5)=0.607, {Ui random(0,1)>P(7), 则 不 接受 新 解 


O 假设 第 三 轮 得 到 的 新 解 7=(10110), 由 于 f( 站 =2+8+3=13 
<15=f(?), 所 以 需要 计算 接受 概率 P(7T)=exp((f (/)-f()/T)= 
exp( 一 0.3)=0.741, 假 设 random(0,1)<P(T ), 则 接受 新 解 按 照 
一 定 的 概率 接受 劣 解 ， 也 是 跳出 局 部 最 优 的 一 种 手段 


(4) 这 时 候 ,7 温度 下 的 “平衡 * 已 达到 ( 即 已 经 完成 了 3 次 
的 邻 域 产生 )， 结 束 内 层 循环 


假设 在 继续 运行 的 时 候 ， 从 当前 解 
三 (10110) 得 到 一 个 新 解 j = (00111), 
这 时 候 的 函数 值 为 (站 =8+3+6=17， 
是 一 个 全 局 最 优 解 。 可 见 上 面 过 
程 中 接受 了 劣 解 是 有 好 处 的 


图 10.5 用 模拟 退火 算法 求解 例 10. 1 的 步骤 图 示 


10.2 禁忌 搜索 算法 


1021 算法 思想 


禁忌 搜索 (Tabu Search,TS) 是 Glover 于 1986 年 提出 的 一 种 全 局 搜索 算法 0 。 禁 忌 
搜索 也 是 属于 模拟 人 类 智能 的 一 种 优化 算法 , 它 模仿 了 人 类 的 记忆 功能 ,在 求解 问题 的 过 程 
中 ,采用 了 禁忌 技术 ,对 已 经 搜索 过 的 局 部 最 优 解 进行 标记 ,并 且 在 迭代 中 尽量 避免 重复 相 
同 的 搜索 (但 不 是 完全 隔绝 ) ,从 而 获得 更 广 的 搜索 区 间 , 有 利于 寻找 到 全 局 最 优 解 。 
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通过 图 10. 6 所 示 的 兔子 寻找 最 高 山峰 的 例子 ,我 们 可 以 体会 禁忌 搜索 的 主要 特点 以 
及 T 了 解禁 忌 搜 索 算 法 是 怎样 对 人 类 大 脑 记忆 的 功能 进行 模仿 的 。 禁 忌 搜索 算法 的 一 个 重 
要 特点 就 是 算法 具有 “记忆 性 ”, 能 够 对 已 经 搜索 到 的 解 进行 记忆 和 选择 性 的 回避 ,因此 ， 
算法 需要 维护 一 个 禁忌 表 变 量 , 该 变量 不 断 地 更 新 ,通过 加 入 新 的 禁忌 对 象 和 解 蔡 旧 的 蔡 
忌 对 象 ,使 得 算法 能 够 避免 重复 在 一 个 局 部 最 优 解 附近 进行 过 多 无 谓 的 操作 ,从 而 达到 扩 


这 里 是 一 个 局 部 最 优 ,我 
在 这 里 设置 一 个 标记 


(1) 锡 子 在 寻找 最 高 的 山峰 。 它 经 过 一 番 努 力 之 
后 ， 找 到 了 4 这 个 相对 高 的 峰 头 , 它 会 在 这 里 设 
置 一 个 标记 ， 说 明 该 峰 头 已 经 被 “禁忌 ”了 。 
这 样 通过 “ 茶 忆 ”的 手段 , 避免 重复 搜索 同样 的 
峰 头 ， 浪 费时 间 。 峰 头 4 就 是 “ 禁 忆 对象”。 


(2) 兔子 继续 搜索 ， 由 于 避 开 了 4 ， 所 以 兔子 有 可 能 跑 到 更 远 的 地 方 、 来 
到 了 B。 同 样 8 也 将 会 被 禁忌 。 另 一 方面 ， 禁 忆 对 象 4 将 随 着 时 间 的 推移 
而 被 解 茜 。 这 个 从 被 禁忌 到 解 蔡 的 时 间 就 是 “ 茶 忆 期 限 ”( 禁 忆 长 度 ) 。 


哈哈 ! 我 终于 找到 
最 高 峰 了 ! ! ! 


(3) 兔子 在 找到 不 同 的 峰 头 之 后 ,有 意识 地 避 开 它们 (但 不 是 完全 隔绝 ), 从 而 获得 更 大 的 搜索 区 间 。 经 过 不 
断 地 “禁忌 ”和 “解禁 *"， 它 找到 的 山峰 将 越 来 越 高 ， 例 如 图 中 的 兔子 已 经 找到 了 最 高 的 那个 峰 头 C 。 


10.6 禁忌 搜索 算法 的 搜索 行为 示意 图 
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大 搜索 空间 ,找到 全 局 最 优 解 的 目的 。 
茶 忌 搜索 属于 一 种 计算 午 能 的 算法 ,在 算法 实现 的 细节 上 涉及 荣 忌 表 、 茜 忌 对 象 、. 茶 


SBA BR .渴望 准则 等 概念 ,下 面 先 对 这 些 概 念 进 行 说 明 。 

定义 10.1 BSR (Tabu List, TL) 是 用 来 存放 (记忆 ) 蔡 忌 对 象 的 表 。 它 是 茶 忌 搜 
AS WET IN SEA HITE. FR RA EAH E BR h OY 它 的 大 小 对 存放 禁忌 对 象 的 个 数 
有 影响 ,会 影响 算法 的 性 能 。 

定义 10.2 禁忌 对 象 (Tabu Object,TO) 是 指 禁忌 表 中 被 禁 的 那些 变化 元 素 。 禁 忌 
对 象 的 选择 可 以 根据 具体 问题 而 制定 。 例 如 在 旅行 商 问 题 (Traveling Salesman 
Problem,TSP) 中 可 以 将 交换 的 城市 对 作为 禁忌 对 象 , 也 可 以 将 总 路 径 长 度 作 为 蔡 
XT ZR 

age 10.3 禁忌 期 限 (Tabu Tenure ,ITT) 也 叫 禁 鼠 长 度 , 指 的 是 禁忌 对 象 不 能 被 选取 
的 周期 。 禁 忌 期 限 过 短 容 易 出 现 循环 , 跳 不 出 局 部 最 优 ,长 度 过 长 会 造成 计算 时 间 过 长 。 

nares 10.4 渴望 准则 (Aspiration Criteria,AC) 也 称 为 特赦 规则 。 当 所 有 的 对 象 都 
被 禁忌 之 后 ,可 以 让 其 中 性 能 最 好 的 被 禁忌 对 象 解禁 ,或 者 当 某 个 对 象 解禁 会 带 来 目标 值 
的 很 大 改进 时 ,也 可 以 使 用 特 DEAU 

AR SR RRA A ARK, ATS RE., SOHAIL. REFERE BRET 
了 大 量 的 研究 ,不断 地 完善 算法 的 性 能 与 折 展 算法 的 应 用 领域 "5 。 研 究 者 不 但 对 禁忌 搜 
索 算法 的 行为 方式 进行 了 理论 证 明 , 如 Faigle 和 Kern5 提 出 的 针对 概率 TS 的 收 伍 性 证 
明 ,Hanafi 和 Glover!" TE PH Ay JL AP WAE EME HI TS 保证 了 在 有 限 的 时 间 内 找到 最 优 
解 , 等 等 ;而 且 提 出 了 各 种 改进 方案 ,如 通过 对 算法 参数 的 研究 ,希望 得 到 更 加 鲁 棒 的 参数 
设置 ……" ,或 混合 其 他 现代 计算 方法 "2 ,如 遗传 算法 、 尽 群 算法 等 技术 对 传统 的 禁忌 搜索 
算法 进行 性 能 的 改进 与 提高 。 另 一 方面 ,禁忌 搜索 算法 已 经 在 组 合 优化 、 生产 调度 ， BL air 
学 习 、 电 路 设计 和 神经 网 络 等 领域 取得 了 很 大 的 成 功 ,近年 来 又 在 函数 全 局 优化 方面 得 到 
较 多 的 研究 ,并 大 有 发 展 的 趋势 。 


10.2.2 基本 流程 


禁忌 搜索 算法 在 初始 化 的 时 候 , 在 搜索 空间 随机 生成 一 个 初始 解 i, 禁 尽 表 五 置 空 
当前 解 i 记 为 历史 最 优 解 ; ,然后 进入 迄 代 的 搜索 过 程 。 在 每 一 次 迭代 中 ,都 从 当前 的 解 i 
出 发 ,在 当前 禁忌 表 H 的 限制 下 ,构造 出 解 i 的 邻 域 A ,然后 从 A 中 选 出 适应 值 最 好 的 解 
j 来 符 换 解 1, 同 时 更 新 禁忌 表 H., Ei j Ei 之 后 ,如 果 解 i 的 质量 得 到 改善 ,那么 
历史 最 优 的 解 s 将 被 解 i 蔡 换 ; 和 否则 ,* 保持 不 变 , 即 使 解 i 虽然 暂时 变 差 了 ,但 是 由 于 扩 
大 了 搜索 空间 , 仍 有 利于 跳出 局 部 最 优 。 得 到 了 新 的 当前 解 i 之 后 ,算法 返回 迭代 的 开始 
继续 进行 ,直到 找到 最 优 解 或 者 运行 了 一 定 的 迭代 次 数 等 终止 条 件 的 时 候 结 束 算法 。 算 
法 的 流程 图 和 伪 代 码 如 图 10.7 所 示 。 

图 10.7 中 有 两 个 地 方 需 要 加 以 说 明 ,一 个 是 如 何 根据 当前 的 禁忌 表 生 成 当前 解 的 邻 
域 , 另 一 个 是 如 何 更 新 禁忌 表 。 下 面 以 旅行 商 问题 为 例 , 解 说 这 两 个 操作 。 

事实 上 ,根据 不 同 问 题 的 特性 ,可 以 设计 不 同 的 邻 域 生 成 方法 。 在 TSP 中 ,一 个 解 可 
以 用 一 个 城市 的 序列 表示 。 例 如 S= (a,b,c,d) 表 示 四 城市 问题 的 一 个 解 ,可 以 定义 交换 
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// 功 能 : 禁忌 搜索 算法 伪 代 码 

// 说 明 : 本 例 以 求 问题 最 小 值 为 目标 

// 参 数 : 工 为 当前 解 :s 为 最 优 解 ;8 为 禁忌 表 ;k 
// 为 当前 代数 


初始 化 : 随机 生成 一 个 解 i， 设 置 代 数 


k=0， 茶 忆 表 帮 为 空 ， 最 优 解 s =i 


procedure TS 


7 //Initialization 
Randomly generate a solution i, and 
m evaluate its fitness f(i); 
构造 解 i 的 邻 域 A=N(i, H) s=i;k-0;F {}; 


while not stop 
//Generate the neighbors of solution i 


从 邻 域 4 中 找 出 适应 值 最 好 
的 解 j, 令 i=j, FHA BH //based on the tabu list H 


4=N(i,H); 
i= SelectBestSolution (A); 
Update the tabu list H; 
iff(i)< f(s) 
S= i; 
end if 
k= kt 1; 
end while 


print s 
end procedure 


图 10.7 禁忌 搜索 算法 的 流程 图 和 伪 代 码 


两 个 城市 构造 S 的 一 个 邻居 ,因此 可 以 得 到 S eb A A= NCS) =({(b.asc;d), (csb, 
asd), (d,bycya),， (ascsb,d), (asd,c,6),，(as,b,d,c)}, 共 有 C(4,2)=6 个 邻居 。 不 过 ， 
在 禁忌 搜索 中 ,该 例子 构造 出 来 的 邻 域 A 可 能 没有 6 个 新 解 ,因为 需要 通过 当前 禁忌 表 
H 的 限制 进行 邻 域 的 构造 。 假 设 当 前 禁忌 表 中 已 经 记录 了 城市 a 和 c,b 和 cc 已 经 在 前 面 
的 搜索 中 进行 过 了 交换 ,那么 S 的 邻 域 变 为 A 二 N(S, H)= {(b,a,c,d), (d,b,c,a)， 
(asdsyc,b0)，(a,b,d,c)}。 因 此 在 这 种 情况 下 ,生成 的 邻 域 只 有 4 个 元 素 。 

关于 禁忌 表 的 更 新 操作 ,一 方面 是 为 了 刷新 已 经 被 禁忌 的 对 象 的 周期 ,让 其 在 一 定 的 
禁忌 周期 后 重新 可 选 ,以 避免 当 所 有 对 象 都 被 禁忌 之 后 ,需要 频繁 使 用 特赦 规则 ; 另 一 方 
面 是 为 了 添加 新 的 禁忌 对 象 到 禁忌 表 中 。 我 们 还 是 以 上 面 的 TSP 为 例 , 如 果 禁 忌 表 中 已 
经 存在 已 经 交换 过 的 城市 对 a 和 c ,6b 和 c ,而 得 到 的 邻 域 A 中 以 交换 城市 a 和 4 得 到 的 
新 解 (d ,b,c,a) 的 适应 值 为 最 优 ,那么 ,城市 对 a Ald 需要 加 入 到 禁忌 表 电 中 ,避免 下 次 
重复 交换 这 两 个 城市 ,而 原来 被 禁忌 的 (a,c) 和 (5,c) 的 被 禁忌 剩余 期 限 将 会 缩短 一 些 ( 例 
如 减 1) 。 通 过 禁忌 表 H 的 更 新 ,新 的 对 象 被 禁忌 , 旧 的 对 象 逐 渐 被 解禁 ,有 利于 算法 在 
更 大 范围 内 寻 优 。 


10.2.3 应 用 举例 
为 了 说 明 茶 忌 搜 索 算 法 的 运行 机 理 , 我 们 通过 一 个 简单 的 旅行 商 问 题 的 例子 来 加 浴 
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对 算法 的 认识 和 理解 。 

例 10.2 已 知 一 个 旅行 商 问 题 为 四 城市 (a,5,c,d) 问 题 ,城市 间 的 距离 如 矩阵 D 所 
示 , 为 方便 起 见 ,假设 邻 域 映 射 定义 为 两 个 城市 位 置 对 换 , 而 始点 和 终点 城市 都 是 a。 请 
分 析 使 用 茶 忌 搜索 算法 求解 该 问题 的 前 面 三 代 的 过 程 与 主要 步骤 。 


0 1 0.5 1 
ae 1 0 1 1 
j 1.5 5 0 1 

1 1 1 0 


分 析 : 这 是 一 个 简单 的 问题 ,利用 枚 举 的 方法 也 可 以 找到 最 优 的 答案 ,但 是 ,找到 答案 
不 是 我 们 的 目的 ,我 们 主要 是 想 通 过 一 个 简单 的 例子 来 理解 禁忌 搜索 是 如 何 进 行 工 作 的 。 
从 距离 矩阵 DD 可 以 看 到 ,这 是 一 个 非 对 称 的 TSP 问题 ,但 是 这 并 不 影响 算法 的 执行 。 由 于 
题目 假设 了 邻 域 构造 的 方式 ,而 且 规 定 了 始点 和 终点 都 是 城市 a, 因此 ,在 以 下 的 求解 过 程 
中 ,我 们 不 使 用 城市 a 和 其 他 城市 进行 交换 ,这样 的 操作 并 不 会 影响 全 局 寻 优 的 能 力 。 

解 : 使 用 禁忌 搜索 算法 求解 例 10. 2 的 前 面 三 代 的 执行 步骤 如 图 10. 8 所 示 。 


步骤 0 : PEIRE i= (abcd) IRATE ER AAS. RANE s 二 而 且 根据 距离 矩阵 可 以 算得 
Js)=1+1+1+1=4 


Ges” AN 交换 be 交换 bd 交换 cd 


步骤 1-1: 在 恕 的 限制 下 构造 解 的 邻 域 4=Ni,H)={ (acbd), (adcb), (abdc), } 


ib Jb 


步骤 1-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 f=1+1+5+1=8 f=1+1+1+1.5=4.5 
选择 其 中 最 好 的 解 j 替 换 解 i, PTA. i=j=(abdc) 
更 新 禁忌 表 三 {(cd)2} ， 这 里 的 2 是 禁忌 长 度 ， 意 思 是 说 未 来 2 代 内 避免 交换 城市 < 和 4d 


步骤 1-3 : 由 于 f(D))=4.5>4=f(s)， 所 以 最 优 解 s 保 持 不 变 


Ges 第 一 个 Hh be 交换 bd 


步骤 2-1 ; 在 五 的 限制 下 构造 解 i 的 邻 域 4=N(i,H)={ (acdb), (adbc),  } 


步骤 2-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+1+1+1l=3.5 f=1+l+l+1.5=4.5 
选择 其 中 最 好 的 解 j 替 换 解 i, 所 以 ，i 二 j=(acdb) 
BHT ze H={(cd)1,(be)2} 


步骤 2-3 : 由 于 f(i)=3.5<4=f(s), 所 以 最 优 解 s 更 改 为 当前 最 优 解 s=i=(acdb), H. f(s)=3.5 


Gee Ft eau 


步骤 3-1 : 在 五 的 限制 下 构造 解 的 邻 域 4=N(i, H)={ (acbd), } 


步骤 3-2 : 计算 邻 域 4 中 每 个 新 解 的 适应 值 f=0.5+5+1+1=7.5 
选择 其 中 最 好 的 解 j 替 换 解 i， 所 以 ， 计 j —(abdc) 
更 新 禁忌 表 FH={(bc)1,(bqd)2} ， 注 意 禁忌 对 象 (cd) 现 在 已 经 被 解禁 


步骤 3-3 : 由 于 /f(i)=7.5>3.5=f(s)， 所 以 最 优 解 s 保 持 不 变 
图 10.8 用 禁忌 搜索 算法 求解 例 10.2TSP 前 三 代 的 步骤 图 示 
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在 图 10. 8 所 示 的 执行 步骤 中 ,如 采 算 法 继续 进行 的 话 , 由 于 这 时 只 有 对 和 象 (cd) 不 是 


被 禁忌 的 ,将 会 出 现 从 解 (abdc) 到 解 (abcd) 的 过 程 ,因此 搜索 过 程 出 现 了 循环 ,该 怎么 办 ? 
在 实际 的 应 用 中 ,通过 选择 更 好 的 禁忌 对 象 ,设置 合理 的 禁忌 期 限 ,或 采用 其 他 更 好 的 参 
数 , 都 可 以 避免 循环 的 出 现 , 从 而 提高 算法 的 性 能 。 
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10.3 本 章 习 题 


. 模拟 退火 算法 包括 哪些 基本 要 素 ? 

. 试 上 机 编程 实现 模拟 退火 算法 ,完成 例 10. 1 。 
. 请 举例 说 明 禁 忌 搜 索 算 法 邻 域 生成 的 方法 。 

. 试 上 机 编程 实现 禁忌 搜索 算法 ,完成 例 10. 2。 
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第 6 章 粒子 群 优化 算法 (Particle Swarm Optimization, PSO) 
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第 8 章 分 布 估计 算法 (Estimation of Distribution Algorithms, EDA) 


中 x 
分 布 估计 算法 
基于 概率 模型 的 遗传 算法 
连锁 学 习 遗 传 算法 
PBIL 算法 


5 


附录 A 索引 215 


续 表 
中 x 页 码 
MIMIC 算法 Mutual Information Maximizing Input Clustering 157 
COMIT 算法 Combining Optimizers with Mutual Information Trees 157 
FDA 算法 Factorized Distribution Algorithm 157 
BOA 算法 Bayesian Optimization Algorithm 157 
OneMax 问题 OneMax Problem 160 


基于 最 大 互信 息 的 分 布 估计 算法 Mutual Information Maximization for Input Untering 162 
链 式 概率 模型 Chain Probability Model 162 
树 状 概率 模型 Tree Probability Model 163 
贝 叶 斯 网 络 概率 模型 Bayestan Network Probability Model 163 
基于 贝 叶 斯 网 络 模型 的 分 布 估 计算 法 | The Bayesian Optimization Algorithm 164 
高 斯 概率 模型 Guussian Probability Model 164 


差分 进化 算法 Differential Evolution 166 


Bt 
las 


第 9 章 Memetic 算法 (Memetic Algorithm, MA) 


基于 交叉 的 局 部 搜索 crossover-based local search 182 
Meta-Lamarckian 学 习 184 
基于 智能 体 的 Memetic 算法 190 


216 


计算 智能 


第 10 Æ 模拟 退火 (Simulated Annealing,SA) 与 禁忌 搜索 (Tabu Search, TS) 
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